JP6472109B1 - タッチパネルシステム及び記録媒体 - Google Patents
タッチパネルシステム及び記録媒体 Download PDFInfo
- Publication number
- JP6472109B1 JP6472109B1 JP2018175500A JP2018175500A JP6472109B1 JP 6472109 B1 JP6472109 B1 JP 6472109B1 JP 2018175500 A JP2018175500 A JP 2018175500A JP 2018175500 A JP2018175500 A JP 2018175500A JP 6472109 B1 JP6472109 B1 JP 6472109B1
- Authority
- JP
- Japan
- Prior art keywords
- touch panel
- fluid
- panel system
- magnetic field
- magnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04107—Shielding in digitiser, i.e. guard or shielding arrangements, mostly for capacitive touchscreens, e.g. driven shields, driven grounds
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
【課題】 装置構成が簡易で周囲の温度及び明るさの影響を受けにくく、使用時に変形可能であり、接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステム及び記録媒体に関する。
【解決手段】 本発明のタッチパネルシステム1は、被接触面11が可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成り、被接触面の対向面12が前記波長領域の電磁波を透過する材料から成り、被接触面と対向面とに挟まれた空間を備える袋状のタッチパネル本体部Vと、波長領域の電磁波を遮蔽又は吸収する流体と磁性体から成る磁性流体20と、カメラ50と、画像解析部100と、磁性流体に磁界を印加して制御する磁界制御機構24とを備える。カメラは、被接触面に外力が作用することで被接触面と対向面とが近接して当該近接箇所から磁性流体が移動することにより生じる前記波長領域の電磁波の変化を撮影する。
【選択図】図1
【解決手段】 本発明のタッチパネルシステム1は、被接触面11が可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成り、被接触面の対向面12が前記波長領域の電磁波を透過する材料から成り、被接触面と対向面とに挟まれた空間を備える袋状のタッチパネル本体部Vと、波長領域の電磁波を遮蔽又は吸収する流体と磁性体から成る磁性流体20と、カメラ50と、画像解析部100と、磁性流体に磁界を印加して制御する磁界制御機構24とを備える。カメラは、被接触面に外力が作用することで被接触面と対向面とが近接して当該近接箇所から磁性流体が移動することにより生じる前記波長領域の電磁波の変化を撮影する。
【選択図】図1
Description
本発明は、装置構成が簡易で周囲の温度及び明るさの影響を受けにくく、使用時に変形可能であり、接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステム及びこのタッチパネルシステムを動作させるためのプログラムが格納された記録媒体に関する。
コンピュータや携帯情報端末などの電子情報機器には入力装置と表示装置（ディスプレイ）とを組み合わせたタッチパネルシステムが搭載されている。
タッチパネルシステムには静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式が存在する。
また、本願発明者が発明したタッチパネルシステムは、内部に着色された流体を収容する袋状のタッチパネル本体部と、カメラと、カメラの撮影画像の画素のRGB値を解析する画像解析部とを備える。タッチパネル本体部に外力が作用することでタッチパネル本体部の一方の面と他方の面が近接して当該近接箇所から流体が移動することにより生じる他方の面の色の変化をカメラで撮影し、画像解析部による撮影画像の画素のRGB値解析結果に基づいて近接箇所の座標や形状を算出し、映像表示装置の映像に反映させるものである（特許文献1）。このタッチパネルシステムは袋状のタッチパネル本体部の内部に流体が入っているため変形可能であり、任意の形状のタッチパネルを形成出来るという利点や、構成が簡易で製造コストが安いという利点がある。
また、本願発明者は赤外線サーモグラフィカメラと流体を用いた任意形状に変形できるタッチパネルも発明した（特許文献2）。これはユーザが被接触面に触れた位置を熱源として、当該熱源から放射される電磁波（赤外線）を赤外線サーモグラフィカメラで撮影して接触箇所の座標を算出するものである。熱源から放射される電磁波（赤外線）を利用する仕組みのため、上記特許文献1の発明と比較して流体を着色する必要がなく、ユーザは流体越しにクリアな映像を視認できるという利点を有する。
タッチパネルシステムには静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式が存在する。
また、本願発明者が発明したタッチパネルシステムは、内部に着色された流体を収容する袋状のタッチパネル本体部と、カメラと、カメラの撮影画像の画素のRGB値を解析する画像解析部とを備える。タッチパネル本体部に外力が作用することでタッチパネル本体部の一方の面と他方の面が近接して当該近接箇所から流体が移動することにより生じる他方の面の色の変化をカメラで撮影し、画像解析部による撮影画像の画素のRGB値解析結果に基づいて近接箇所の座標や形状を算出し、映像表示装置の映像に反映させるものである（特許文献1）。このタッチパネルシステムは袋状のタッチパネル本体部の内部に流体が入っているため変形可能であり、任意の形状のタッチパネルを形成出来るという利点や、構成が簡易で製造コストが安いという利点がある。
また、本願発明者は赤外線サーモグラフィカメラと流体を用いた任意形状に変形できるタッチパネルも発明した（特許文献2）。これはユーザが被接触面に触れた位置を熱源として、当該熱源から放射される電磁波（赤外線）を赤外線サーモグラフィカメラで撮影して接触箇所の座標を算出するものである。熱源から放射される電磁波（赤外線）を利用する仕組みのため、上記特許文献1の発明と比較して流体を着色する必要がなく、ユーザは流体越しにクリアな映像を視認できるという利点を有する。
しかし、上記の静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）はいずれも装置構成が複雑なため、製造コストが嵩むという問題や故障が生じやすいという問題がある。また、使用時にユーザが任意の形状に変形して使用出来ないという問題もある。
上記特許文献1の技術では暗い室内等の低照度環境下では撮影画像のRGB値を解析するのが難しいという問題がある。
上記特許文献2の技術では室温がユーザの体温に近い場合、室温に起因した熱ノイズにより正常に動作しない場合があるという問題、タッチペン等の熱を持たない物体で接触した場合に熱を感知出来ないという問題がある。更に、タッチパネル本体内の流体の温度がユーザの体温と近い場合、ユーザが指等で触れた場所だけを赤外線サーモグラフィカメラで感知することができないという問題もある。
上記特許文献1の技術では暗い室内等の低照度環境下では撮影画像のRGB値を解析するのが難しいという問題がある。
上記特許文献2の技術では室温がユーザの体温に近い場合、室温に起因した熱ノイズにより正常に動作しない場合があるという問題、タッチペン等の熱を持たない物体で接触した場合に熱を感知出来ないという問題がある。更に、タッチパネル本体内の流体の温度がユーザの体温と近い場合、ユーザが指等で触れた場所だけを赤外線サーモグラフィカメラで感知することができないという問題もある。
本発明は上記問題に鑑み、装置構成が簡易で周囲の温度及び明るさの影響を受けにくく、使用時に変形可能であり、接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステム及びこのタッチパネルシステムを動作させるためのプログラムが格納された記録媒体を提供する事を課題とする。
本発明のタッチパネルシステムは、被接触面が可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成り、前記被接触面の対向面が前記波長領域の電磁波を透過する材料から成り、前記被接触面と前記対向面とに挟まれた空間を備える袋状のタッチパネル本体部と、前記波長領域の電磁波を遮蔽又は吸収する流体と磁性体から成る磁性流体と、前記波長領域の電磁波を撮影可能であり前記対向面を撮影するカメラと、前記カメラの撮影画像の画素を解析する画像解析部と、前記磁性流体に磁界を印加して制御する磁界制御機構とを備え、前記磁性流体は前記空間の内部に収容されており、前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記磁性流体が移動することにより生じる前記波長領域の電磁波の変化を撮影し、前記画像解析部は前記撮影画像の画素の解析結果に基づいて、前記対向面上の前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つを算出して映像表示装置の映像に反映させ、前記磁界制御機構は前記解析結果に基づいて前記磁性流体に印加する磁界を制御することを特徴とする。
また、前記磁界制御機構が前記磁性流体に印加する磁界を制御することで前記被接触面の形状と硬さのうち少なくとも一方を変化させることを特徴とする。
また、前記磁界制御機構が前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つに基づいて前記磁界を制御することを特徴とする。
また、前記空間が前記被接触面側と前記対向面側の二層に分割されており、前記二層のうち一方の層に前記磁性流体を収容し、他方の層に前記流体のみを収容することを特徴とする。
また、前記他方の層に、前記流体の替わりに可視光線又は近赤外線の波長領域の電磁波を遮蔽する気体を収容することを特徴とする。
また、前記磁界制御機構が前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つに基づいて前記磁界を制御することを特徴とする。
また、前記空間が前記被接触面側と前記対向面側の二層に分割されており、前記二層のうち一方の層に前記磁性流体を収容し、他方の層に前記流体のみを収容することを特徴とする。
また、前記他方の層に、前記流体の替わりに可視光線又は近赤外線の波長領域の電磁波を遮蔽する気体を収容することを特徴とする。
また、前記波長領域の電磁波を透過する材料から成り、前記被接触面及び／又は前記対向面から前記空間側に向いた複数の突起部を備えることを特徴とする。
また、前記突起部の長さが可変であることを特徴とする。
また、複数の前記突起部各々の長さが異なることを特徴とする。
また、前記突起部が磁界発生用の電磁石又はコイルを備えることを特徴とする。
また、前記突起部の長さが可変であることを特徴とする。
また、複数の前記突起部各々の長さが異なることを特徴とする。
また、前記突起部が磁界発生用の電磁石又はコイルを備えることを特徴とする。
また、前記磁性流体の温度を制御するための流体温度制御機構を備えることを特徴とする。
また、前記磁性流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、前記流体圧力制御機構は前記近接箇所の座標、前記近接箇所の形状、近接距離の3つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする。
また、前記カメラが可視光線の波長領域の電磁波を撮影可能であることを特徴とする。
また、前記カメラが近赤外線の波長領域の電磁波を撮影可能であることを特徴とする。
また、前記映像表示装置がフレキシブルディスプレイであり、前記フレキシブルディスプレイを介して前記被接触面に外力を作用させることを特徴とする。
また、前記フレキシブルディスプレイと前記被接触面の間に、前記フレキシブルディスプレイの背面の凸部の高さよりも大きい厚さの可撓性を有するシートを備えることを特徴とする。
また、前記磁性流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、前記流体圧力制御機構は前記近接箇所の座標、前記近接箇所の形状、近接距離の3つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする。
また、前記カメラが可視光線の波長領域の電磁波を撮影可能であることを特徴とする。
また、前記カメラが近赤外線の波長領域の電磁波を撮影可能であることを特徴とする。
また、前記映像表示装置がフレキシブルディスプレイであり、前記フレキシブルディスプレイを介して前記被接触面に外力を作用させることを特徴とする。
また、前記フレキシブルディスプレイと前記被接触面の間に、前記フレキシブルディスプレイの背面の凸部の高さよりも大きい厚さの可撓性を有するシートを備えることを特徴とする。
また、前記波長領域の電磁波を反射する電磁波反射シートを前記被接触面の表面に備えることを特徴とする。
また、前記近接箇所を透過した電磁波以外の電磁波が前記カメラのレンズに侵入しないようにするための遮蔽部材を備えることを特徴とする。
また、前記被接触面の表面にプロジェクタースクリーンを備えることを特徴とする。
本発明の記録媒体は、上記タッチパネルシステムで用いるプログラムを格納する記録媒体であり、前記撮影画像を取り込むステップと、前記撮影画像の画素を解析するステップと、前記対向面上の前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つを算出して前記映像表示装置の映像に反映させるステップと、前記解析結果に基づいて前記磁界制御機構が前記磁性流体に印加する磁界を制御して前記被接触面の形状と硬さのうち少なくとも一方を変化させるステップとをコンピュータに実行させるプログラムを格納することを特徴とする。
また、前記近接箇所を透過した電磁波以外の電磁波が前記カメラのレンズに侵入しないようにするための遮蔽部材を備えることを特徴とする。
また、前記被接触面の表面にプロジェクタースクリーンを備えることを特徴とする。
本発明の記録媒体は、上記タッチパネルシステムで用いるプログラムを格納する記録媒体であり、前記撮影画像を取り込むステップと、前記撮影画像の画素を解析するステップと、前記対向面上の前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つを算出して前記映像表示装置の映像に反映させるステップと、前記解析結果に基づいて前記磁界制御機構が前記磁性流体に印加する磁界を制御して前記被接触面の形状と硬さのうち少なくとも一方を変化させるステップとをコンピュータに実行させるプログラムを格納することを特徴とする。
本発明のタッチパネルシステムでは、ユーザが指等でタッチパネル本体部の被接触面を押して外力を作用させると、被接触面と対向面とが近接し、タッチパネル本体部の空間の内部に収容した磁性流体が当該近接箇所から移動する。磁性流体は可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収することができる。可視光線又は近赤外線の波長領域の電磁波のうち近接箇所に至った電磁波は近接箇所を透過してカメラで撮影されるが、近接箇所以外の場所に至った電磁波は磁性流体によって遮蔽又は吸収されるのでカメラで撮影できない。画像解析部はカメラの撮影画像に基づいて対向面上の近接箇所の座標と近接箇所の形状の2つのうち少なくとも1つを算出し、映像表示装置の映像に反映させる。
このように、本発明のタッチパネルシステムは、可視光線の波長領域の電磁波を捉えることができる通常のカメラだけでなく、近赤外線の波長領域の電磁波を捉えることができるいわゆる暗視カメラを用いる事もできる。したがって、本発明のタッチパネルシステムは低照度環境下でも正常に動作し、更に従来のような赤外線サーモグラフィカメラを用いてユーザの指等の熱を感知する方式とは異なり、原理的に熱によるノイズが発生しない。したがって、周辺環境の温度がユーザの体温に近い場合でも誤動作するおそれがない。また、熱を有してない物体、例えばタッチペン等を利用して被接触面に対して外力を作用させた場合でも上記近接箇所の座標等を算出できる。
このように、本発明のタッチパネルシステムは、可視光線の波長領域の電磁波を捉えることができる通常のカメラだけでなく、近赤外線の波長領域の電磁波を捉えることができるいわゆる暗視カメラを用いる事もできる。したがって、本発明のタッチパネルシステムは低照度環境下でも正常に動作し、更に従来のような赤外線サーモグラフィカメラを用いてユーザの指等の熱を感知する方式とは異なり、原理的に熱によるノイズが発生しない。したがって、周辺環境の温度がユーザの体温に近い場合でも誤動作するおそれがない。また、熱を有してない物体、例えばタッチペン等を利用して被接触面に対して外力を作用させた場合でも上記近接箇所の座標等を算出できる。
また、磁界制御機構を利用して磁性流体に対して磁界を印加して磁性流体を変形させることができる。磁性流体が変形する際にタッチパネル本体部の空間の内部から被接触面や対向面に作用する圧力を利用してタッチパネル本体部の形状や固さを変化させる事ができる。磁界制御機構は画像解析部による撮影画像の画素の解析結果に基づいて磁界を制御することにしてもよく、或は近接箇所の座標と近接箇所の形状の2つのうち少なくとも1つに基づいて磁界を変化させることにしてもよい。
以上のとおり、本発明のタッチパネルシステムは装置構成が簡易で周囲の温度及び明るさの影響を受けにくく、使用時に変形可能であり、接触箇所の硬さやクッション性をリアルタイムに変更可能である。
また、画像解析部が撮影画像の画素に基づいて対向面上の近接箇所の面積を算出することで、例えば当該面積が小さい場合には被接触面を押した力（外力）が小さく、面積が大きい場合には押した力が大きいと判断することもできる。つまり、ユーザが被接触面を押した力の大小を測定して、映像表示装置の映像に反映させたり、磁性流体に印加する磁界を制御したりすることもできる。
なお、本明細書では、通常のカメラを使用する場合の可視光線の波長領域の電磁波と、暗視カメラを使用する場合の近赤外線の波長領域の電磁波を総称して「カメラで捉えることができる波長領域の電磁波」とする。
タッチパネル本体部の内部に流体（液体）を収容しているため、従来のタッチパネルとは異なり、使用形態に応じてユーザ自身で変形が容易であり、柔らかい触り心地のタッチパネルを得られる。
以上のとおり、本発明のタッチパネルシステムは装置構成が簡易で周囲の温度及び明るさの影響を受けにくく、使用時に変形可能であり、接触箇所の硬さやクッション性をリアルタイムに変更可能である。
また、画像解析部が撮影画像の画素に基づいて対向面上の近接箇所の面積を算出することで、例えば当該面積が小さい場合には被接触面を押した力（外力）が小さく、面積が大きい場合には押した力が大きいと判断することもできる。つまり、ユーザが被接触面を押した力の大小を測定して、映像表示装置の映像に反映させたり、磁性流体に印加する磁界を制御したりすることもできる。
なお、本明細書では、通常のカメラを使用する場合の可視光線の波長領域の電磁波と、暗視カメラを使用する場合の近赤外線の波長領域の電磁波を総称して「カメラで捉えることができる波長領域の電磁波」とする。
タッチパネル本体部の内部に流体（液体）を収容しているため、従来のタッチパネルとは異なり、使用形態に応じてユーザ自身で変形が容易であり、柔らかい触り心地のタッチパネルを得られる。
被接触面と対向面とに挟まれた空間を二層構造に分けて、二層のうち一方の層に磁性流体を収容し、他方の層に流体のみを収容することにしてもよい。これにより空間が一層だけの場合と比較して、磁性流体の厚さが減る為、より少ない強さの磁界で磁性流体をコントロールでき、タッチパネル本体部を変形させる際の省電力化が図れる。
また、他方の層に流体ではなく、可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収する気体を収容した場合でも、本発明の効果を奏することができる。
タッチパネル本体部の被接触面或は対向面のいずれかに複数の突起部を設けることで、ユーザの押下操作による変形量が小さい場合でも、タッチパネル本体部の被接触面と対向面とを容易に近接させることができる。換言すると、ユーザの押下操作による変形が僅かでも高精度に探知できるタッチパネルを製造出来る。また、突起部の長さを変化させる事により、指等の外力の作用により被接触面が対向面の方向に移動し始めてから画像解析部が実際に接触状態を検知するまでに指等が移動する距離（ストローク距離）を任意に調整する事が可能である。
流体温度制御機構を用いて流体の温度を例えば人体の体温付近の温度に調整することにしてもよい。なお、前記突起部に磁界発生用のコイルを埋め込む(或は巻き付ける）事により磁界を発生させてもよい。
流体圧力制御機構を用いて磁性流体に作用させる圧力を制御することで、ユーザが被接触面に触れた際の固さやクッション性をリアルタイムに調整する事が出来る。
また、他方の層に流体ではなく、可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収する気体を収容した場合でも、本発明の効果を奏することができる。
タッチパネル本体部の被接触面或は対向面のいずれかに複数の突起部を設けることで、ユーザの押下操作による変形量が小さい場合でも、タッチパネル本体部の被接触面と対向面とを容易に近接させることができる。換言すると、ユーザの押下操作による変形が僅かでも高精度に探知できるタッチパネルを製造出来る。また、突起部の長さを変化させる事により、指等の外力の作用により被接触面が対向面の方向に移動し始めてから画像解析部が実際に接触状態を検知するまでに指等が移動する距離（ストローク距離）を任意に調整する事が可能である。
流体温度制御機構を用いて流体の温度を例えば人体の体温付近の温度に調整することにしてもよい。なお、前記突起部に磁界発生用のコイルを埋め込む(或は巻き付ける）事により磁界を発生させてもよい。
流体圧力制御機構を用いて磁性流体に作用させる圧力を制御することで、ユーザが被接触面に触れた際の固さやクッション性をリアルタイムに調整する事が出来る。
映像表示装置としてフレキシブルディスプレイを用いて、フレキシブルディスプレイを介して被接触面に外力を作用させることにしてもよい。これによりタッチパネル本体部と映像表示装置を一体化出来る。
電磁波反射シートや遮蔽部材を用いて、カメラに不要な電磁波が届かないようにすることでタッチパネルシステムの精度を向上させることができる。
被接触面の表面にプロジェクタースクリーンを密着配置して、プロジェクターの光をプロジェクタースクリーンに投射することにしてもよい。この場合、例えば等身大の柔軟な画像に触ることができるタッチパネルシステムを得られる。
電磁波反射シートや遮蔽部材を用いて、カメラに不要な電磁波が届かないようにすることでタッチパネルシステムの精度を向上させることができる。
被接触面の表面にプロジェクタースクリーンを密着配置して、プロジェクターの光をプロジェクタースクリーンに投射することにしてもよい。この場合、例えば等身大の柔軟な画像に触ることができるタッチパネルシステムを得られる。
［第1の実施の形態］
以下、本発明のタッチパネルシステムの第1の実施の形態を図面を用いて示す。
図1〜図3に示すように、タッチパネルシステム1はタッチパネル本体部V、カメラ50、画像解析部100としてのコンピュータ及び磁界制御機構24から概略構成される。
タッチパネル本体部Vは被接触面11と対向面12とに挟まれた空間80を備える袋状である。
被接触面11は可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成る。被接触面11の材料としては例えば軟質塩化ビニール、低密度ポリエチレン等の可撓性を有する材料が挙げられるが必ずしもこれに限定されない。可視光線の電磁波の波長領域は学術的にはおおよそ0.4〜0.78［μm］であり、近赤外線の電磁波の波長領域はおおよそ0.78〜2.5［μm］といわれている。
対向面12は可視光線又は近赤外線の波長領域の電磁波を透過する材料から成る。対向面12の材料としては例えば軟質塩化ビニール、低密度ポリエチレン等が挙げられるが必ずしもこれに限定されない。対向面12は必ずしも可撓性を有している必要はないが、対向面も可撓性を有する材料で構成すれば、タッチパネル本体部V内の磁性流体20を外部に排出することでタッチパネル本体部Vを圧縮収納でき、可搬性を高めることができる。
以下、本発明のタッチパネルシステムの第1の実施の形態を図面を用いて示す。
図1〜図3に示すように、タッチパネルシステム1はタッチパネル本体部V、カメラ50、画像解析部100としてのコンピュータ及び磁界制御機構24から概略構成される。
タッチパネル本体部Vは被接触面11と対向面12とに挟まれた空間80を備える袋状である。
被接触面11は可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成る。被接触面11の材料としては例えば軟質塩化ビニール、低密度ポリエチレン等の可撓性を有する材料が挙げられるが必ずしもこれに限定されない。可視光線の電磁波の波長領域は学術的にはおおよそ0.4〜0.78［μm］であり、近赤外線の電磁波の波長領域はおおよそ0.78〜2.5［μm］といわれている。
対向面12は可視光線又は近赤外線の波長領域の電磁波を透過する材料から成る。対向面12の材料としては例えば軟質塩化ビニール、低密度ポリエチレン等が挙げられるが必ずしもこれに限定されない。対向面12は必ずしも可撓性を有している必要はないが、対向面も可撓性を有する材料で構成すれば、タッチパネル本体部V内の磁性流体20を外部に排出することでタッチパネル本体部Vを圧縮収納でき、可搬性を高めることができる。
本実施の形態ではタッチパネル本体部Vの形状を平面視四角形状にしているが、他にも例えば平面視円形状、三角形や五角形等の多角形状であってもよく、或いは鉛直方向に沿った断面がかまぼこ型や人体の胴体部等を模した形状であってもよい。
タッチパネル本体部の全体を柔軟な可撓性を有する材料で形成した場合、タッチパネル本体部の周囲を囲む透明な個体の外骨格部をタッチパネル本体部に密着固定させればよい。外骨格部でタッチパネル本体部の自重による変形を抑制できるので、ユーザからの外力を受けたことによるタッチパネル本体部の変形量を正確に検知できる。
タッチパネル本体部の全体を柔軟な可撓性を有する材料で形成した場合、タッチパネル本体部の周囲を囲む透明な個体の外骨格部をタッチパネル本体部に密着固定させればよい。外骨格部でタッチパネル本体部の自重による変形を抑制できるので、ユーザからの外力を受けたことによるタッチパネル本体部の変形量を正確に検知できる。
カメラ50は可視光線又は近赤外線の波長領域の電磁波を撮影可能であり対向面を撮影するものである。
カメラ50として可視光線領域の波長の電磁波を捉えることができる通常のカメラを用いる場合、被接触面11及び対向面12は可視光線領域の波長の電磁波を透過させることができればよい。カメラ50として近赤外線領域の波長の電磁波を捉えることができるいわゆる暗視カメラを用いる場合、被接触面11及び対向面12は近赤外線領域の波長の電磁波を透過させることができればよい。なお、本明細書において「暗視カメラ」には近赤外線領域の波長の電磁波を捉えて可視化するいわゆる暗視スコープと、当該暗視スコープで可視化された映像を撮影するカメラとを組み合わせて成る暗視撮影システムも含むものとする。
視野角が広い広角タイプや魚眼タイプのレンズを搭載したカメラ50を用いればカメラ一台のみでタッチパネル本体部Vの面積（被接触面11や対向面12の面積）の大小に関係なく近接箇所14を撮影でき、また、従来のような圧電素子を用いたタッチパネルと比較してタッチパネル本体部Vを大型化した際のコストを抑えることができる。
カメラ50として可視光線領域の波長の電磁波を捉えることができる通常のカメラを用いる場合、被接触面11及び対向面12は可視光線領域の波長の電磁波を透過させることができればよい。カメラ50として近赤外線領域の波長の電磁波を捉えることができるいわゆる暗視カメラを用いる場合、被接触面11及び対向面12は近赤外線領域の波長の電磁波を透過させることができればよい。なお、本明細書において「暗視カメラ」には近赤外線領域の波長の電磁波を捉えて可視化するいわゆる暗視スコープと、当該暗視スコープで可視化された映像を撮影するカメラとを組み合わせて成る暗視撮影システムも含むものとする。
視野角が広い広角タイプや魚眼タイプのレンズを搭載したカメラ50を用いればカメラ一台のみでタッチパネル本体部Vの面積（被接触面11や対向面12の面積）の大小に関係なく近接箇所14を撮影でき、また、従来のような圧電素子を用いたタッチパネルと比較してタッチパネル本体部Vを大型化した際のコストを抑えることができる。
タッチパネル本体部Vの空間80には磁性流体20が収容される。磁性流体20は可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収する流体と、この流体に添加される磁性体から成る。
流体は水等の液体や粘性を有するジェル状の液体に対して墨汁や炭或は絵具で使用される顔料等の添加剤を添加したものである。添加剤は可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収できる量を流体に添加すればよい。すなわちカメラ50が可視光線領域の波長の電磁波を撮影可能である場合、可視光線領域の波長の電磁波を遮蔽又は吸収できる程度まで添加剤を流体に添加する。カメラ50が近赤外線領域の波長の電磁波を撮影可能である場合、近赤外線領域の波長の電磁波を遮蔽又は吸収できる程度まで添加剤を流体に添加する。
添加剤を入れた状態の流体に対して更に粉末状の鉄やフェライト等の磁性体を添加することで磁性流体20とする。なお、粉末状の磁性体を流体に溶かす補助として界面活性剤を別途添加しても良い。
磁性流体20はタッチパネル本体部Vの注入口13から内部に注入される。注入口13から流体と磁性体を別々にタッチパネル本体部Vの内部に注入してもよい。注入口13から磁性流体20を外部に排出することでタッチパネル本体部Vを圧縮して収納することができる。
流体は水等の液体や粘性を有するジェル状の液体に対して墨汁や炭或は絵具で使用される顔料等の添加剤を添加したものである。添加剤は可視光線又は近赤外線の波長領域の電磁波を遮蔽又は吸収できる量を流体に添加すればよい。すなわちカメラ50が可視光線領域の波長の電磁波を撮影可能である場合、可視光線領域の波長の電磁波を遮蔽又は吸収できる程度まで添加剤を流体に添加する。カメラ50が近赤外線領域の波長の電磁波を撮影可能である場合、近赤外線領域の波長の電磁波を遮蔽又は吸収できる程度まで添加剤を流体に添加する。
添加剤を入れた状態の流体に対して更に粉末状の鉄やフェライト等の磁性体を添加することで磁性流体20とする。なお、粉末状の磁性体を流体に溶かす補助として界面活性剤を別途添加しても良い。
磁性流体20はタッチパネル本体部Vの注入口13から内部に注入される。注入口13から流体と磁性体を別々にタッチパネル本体部Vの内部に注入してもよい。注入口13から磁性流体20を外部に排出することでタッチパネル本体部Vを圧縮して収納することができる。
被接触面11側にユーザの手UH等を配置し、カメラ50のレンズを対向面12に向けた状態にする。可視光線又は近赤外線の波長領域の電磁波に対して透過性を有する材料から成る対向面12は磁性流体20により擬似的にマスキングされた状態となる。
画像解析部100はカメラ50の撮影画像の画素を解析するものである。画像解析部100として通常のパーソナルコンピュータではなく、移動携帯端末に搭載されている小型のコンピュータ、ICチップ、ASIC等でもよい。
磁界制御機構24は磁性流体20に磁界を印加して制御するものである。磁性流体20に磁界を印加することで磁性流体20に含まれている磁性体の動きを制御して、被接触面11や対向面12の形状や固さ等を変化させることができる。
画像解析部100はカメラ50の撮影画像の画素を解析するものである。画像解析部100として通常のパーソナルコンピュータではなく、移動携帯端末に搭載されている小型のコンピュータ、ICチップ、ASIC等でもよい。
磁界制御機構24は磁性流体20に磁界を印加して制御するものである。磁性流体20に磁界を印加することで磁性流体20に含まれている磁性体の動きを制御して、被接触面11や対向面12の形状や固さ等を変化させることができる。
次に、タッチパネルシステム1の動作について説明する。
図1(b)に示すようにユーザの手UHを被接触面11に接触させる事により外力を作用させ、被接触面11と対向面12とを近接させることで近接箇所14を形成する。なお、外力の作用により被接触面11と対向面12を密着させてもよい。カメラ50から見た対向面12は磁性流体20の色で擬似的にマスキングされているが、近接箇所14の磁性流体20はその周囲に移動するため、近接箇所14の範囲だけ磁性流体20の色とは異なった色になっている。
本発明ではこの原理を利用してタッチパネル本体部Vに対するユーザの操作を検知する。つまり、被接触面12に外力が作用することで被接触面11と対向面12とが近接して当該近接箇所14から磁性流体20が移動することにより生じる電磁波の変化をカメラ50で撮影する。
画像解析部100は撮影画像の画素を解析し、解析結果に基づいて、対向面12上の近接箇所14の座標と近接箇所14の形状のうち少なくとも1つを算出して映像表示装置200の映像に反映させる。
図1(b)に示すようにユーザの手UHを被接触面11に接触させる事により外力を作用させ、被接触面11と対向面12とを近接させることで近接箇所14を形成する。なお、外力の作用により被接触面11と対向面12を密着させてもよい。カメラ50から見た対向面12は磁性流体20の色で擬似的にマスキングされているが、近接箇所14の磁性流体20はその周囲に移動するため、近接箇所14の範囲だけ磁性流体20の色とは異なった色になっている。
本発明ではこの原理を利用してタッチパネル本体部Vに対するユーザの操作を検知する。つまり、被接触面12に外力が作用することで被接触面11と対向面12とが近接して当該近接箇所14から磁性流体20が移動することにより生じる電磁波の変化をカメラ50で撮影する。
画像解析部100は撮影画像の画素を解析し、解析結果に基づいて、対向面12上の近接箇所14の座標と近接箇所14の形状のうち少なくとも1つを算出して映像表示装置200の映像に反映させる。
磁界制御機構24は解析結果に基づいて磁性流体20に印加する磁界を制御する。
具体的には図2に示すようにカメラ50で近接箇所14を含む対向面12を撮影し、画像解析部100がその撮影画像51に基づいて磁性流体20でマスキングされて無いエリア、つまり近接箇所14の画素をRGB解析により割り出す。そして対向面12における近接箇所14のXY座標（近接箇所14の座標）や形状（近接箇所14の形状）を取得し、それを出力値として映像表示装置200内のポインタ画像201のXY座標や形状に反映させて出力する。
更に磁界制御機構24が近接箇所14のXY座標や形状を反映させた磁界を励起させる。具体的には磁界制御機構24のコイルに対して必要な強さの磁界を発生させるための電流を流す。そして磁性流体20中の磁性体の形状を変化させる事により近接箇所14のXY座標や形状に基づいてタッチパネル本体部Vの形状、固さ（感触）を変化させる。
コイルと電流を用いた磁性流体20の形状制御方法の具体例をいくつか挙げておくと、磁界制御機構24の各コイルに流す電流が交流電流の場合はそれら各コイルに流す交流電流の周波数[Hz]や振幅[A]をコントロールする事によりそれら各コイル近傍に異なる周波数[Hz]で振動する磁界[A/m](或は磁束[Wb])を発生させる。そしてそれら振動する磁界の合成波を以て磁性流体20の形状が目的の形状或は目的に近い形状になるように制御するようにしても良い。なお、磁性流体20が目的の形状或はそれに近い形状になっているときに各コイルに流す電流の最適な周波数[Hz]と振幅[A]の値の算出にはFDTD法や或は有限要素法（詳細は有限要素法或は電磁場解析の専門書を参照）等のコンピュータ数値解析により近似値を事前或はリアルタイムで算出するか、フーリエ変換や高速フーリエ変換をアンペール-マクスウェルの式に代入する手法で算出すれば良い（詳細は数学のフーリエ変換と電磁気学の専門書を参照されたい）。一方、磁性流体20の形状を制御するときに磁界制御機構24の各コイルに流す電流が直流電流の場合は単純にその直流電流の強さ[A]を各コイルの配置間隔[cm]と磁性流体20の形状に合わせて最適になるように変化させれば良い。
カメラ50が可視光線の波長領域の電磁波を捉えることができる通常のカメラなら磁性流体20の色のRGB値を用いてRGB解析（つまりフィルタリング）を行えばよい。一方、カメラ50が近赤外線の波長領域の電磁波を捉えることができる暗視カメラなら濃い緑色或は黒色のRGB解析でフィルタリングを行えばよい。現在市場に流通しているほぼ全ての暗視カメラは捉えた電磁波の波長の強度を緑色或は白色の単色をベースとした階調表現や2値の色によるグレースケール表現等に変換して撮影している。本発明では対向面12の撮影画像51のRGB値は濃い緑色又は黒の単色のRGB値で塗りつぶされた状態でマスキングされて撮影される。
具体的には図2に示すようにカメラ50で近接箇所14を含む対向面12を撮影し、画像解析部100がその撮影画像51に基づいて磁性流体20でマスキングされて無いエリア、つまり近接箇所14の画素をRGB解析により割り出す。そして対向面12における近接箇所14のXY座標（近接箇所14の座標）や形状（近接箇所14の形状）を取得し、それを出力値として映像表示装置200内のポインタ画像201のXY座標や形状に反映させて出力する。
更に磁界制御機構24が近接箇所14のXY座標や形状を反映させた磁界を励起させる。具体的には磁界制御機構24のコイルに対して必要な強さの磁界を発生させるための電流を流す。そして磁性流体20中の磁性体の形状を変化させる事により近接箇所14のXY座標や形状に基づいてタッチパネル本体部Vの形状、固さ（感触）を変化させる。
コイルと電流を用いた磁性流体20の形状制御方法の具体例をいくつか挙げておくと、磁界制御機構24の各コイルに流す電流が交流電流の場合はそれら各コイルに流す交流電流の周波数[Hz]や振幅[A]をコントロールする事によりそれら各コイル近傍に異なる周波数[Hz]で振動する磁界[A/m](或は磁束[Wb])を発生させる。そしてそれら振動する磁界の合成波を以て磁性流体20の形状が目的の形状或は目的に近い形状になるように制御するようにしても良い。なお、磁性流体20が目的の形状或はそれに近い形状になっているときに各コイルに流す電流の最適な周波数[Hz]と振幅[A]の値の算出にはFDTD法や或は有限要素法（詳細は有限要素法或は電磁場解析の専門書を参照）等のコンピュータ数値解析により近似値を事前或はリアルタイムで算出するか、フーリエ変換や高速フーリエ変換をアンペール-マクスウェルの式に代入する手法で算出すれば良い（詳細は数学のフーリエ変換と電磁気学の専門書を参照されたい）。一方、磁性流体20の形状を制御するときに磁界制御機構24の各コイルに流す電流が直流電流の場合は単純にその直流電流の強さ[A]を各コイルの配置間隔[cm]と磁性流体20の形状に合わせて最適になるように変化させれば良い。
カメラ50が可視光線の波長領域の電磁波を捉えることができる通常のカメラなら磁性流体20の色のRGB値を用いてRGB解析（つまりフィルタリング）を行えばよい。一方、カメラ50が近赤外線の波長領域の電磁波を捉えることができる暗視カメラなら濃い緑色或は黒色のRGB解析でフィルタリングを行えばよい。現在市場に流通しているほぼ全ての暗視カメラは捉えた電磁波の波長の強度を緑色或は白色の単色をベースとした階調表現や2値の色によるグレースケール表現等に変換して撮影している。本発明では対向面12の撮影画像51のRGB値は濃い緑色又は黒の単色のRGB値で塗りつぶされた状態でマスキングされて撮影される。
画像解析部100の内部処理の具体例を図3に示す。
まずSTEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像51を取り込む。次のSTEP2にて、流体の色のRGB値保存部102で保存していた磁性流体20の色のRGB値を画像RGB解析部103が取得する。図3の例では磁性流体20によりマスキングされた色のRGB値を黒色R:0,G:0,B:0と仮定して説明している。そのRGB値を使用して撮影画像51の各画素値を順次フィルタリングしていく。
そして、磁性流体20の色で着色されていないエリアの画素（図3の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出し、その画素の撮影画像51内の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
最後にSTEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元に映像表示装置200に出力するポインタ画像等を生成する。画像出力部104はその画像を映像表示装置200に出力する。
同時にSTEP4にて、磁性流体制御部110は近接箇所14のXY座標や形状データに応じた制御信号を磁界制御機構24の磁界発生用コイル電流制御回路23へ出力する。磁界制御機構24は近接箇所のXY座標や形状に基づいて磁性体に印加する磁界を制御し、磁性体の形状を変化させる。これによりタッチパネル本体部V全体の形状や固さ（感触）を変化させたり、近接箇所14の形状や固さ（感触）を変化させたりして終了する。
まずSTEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像51を取り込む。次のSTEP2にて、流体の色のRGB値保存部102で保存していた磁性流体20の色のRGB値を画像RGB解析部103が取得する。図3の例では磁性流体20によりマスキングされた色のRGB値を黒色R:0,G:0,B:0と仮定して説明している。そのRGB値を使用して撮影画像51の各画素値を順次フィルタリングしていく。
そして、磁性流体20の色で着色されていないエリアの画素（図3の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出し、その画素の撮影画像51内の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
最後にSTEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元に映像表示装置200に出力するポインタ画像等を生成する。画像出力部104はその画像を映像表示装置200に出力する。
同時にSTEP4にて、磁性流体制御部110は近接箇所14のXY座標や形状データに応じた制御信号を磁界制御機構24の磁界発生用コイル電流制御回路23へ出力する。磁界制御機構24は近接箇所のXY座標や形状に基づいて磁性体に印加する磁界を制御し、磁性体の形状を変化させる。これによりタッチパネル本体部V全体の形状や固さ（感触）を変化させたり、近接箇所14の形状や固さ（感触）を変化させたりして終了する。
なお、近接箇所14のXY座標のみが必要で形状データの取得が不要な場合は、STEP2において撮影画像51内の全ての画素をフィルタリングする必要は無く、磁性流体20の色以外の画素が見つかった段階でその画素の座標を取得して出力する事で大幅な高速化が図れる。
また、図3の例では説明上、磁性流体20の色を黒色（RGB値はR:0,G:0,B:0）とした。しかし、カメラ50が暗視カメラの場合、暗視カメラの機種によっては磁性流体20でマスキングされたエリアを黒以外の色で表現する機種も存在する。そこで、予め磁性流体20でマスキングされたエリアのRGB値（色データ）を測定しておき、その値を用いてフィルタリングするのがよい。同様に、カメラ50が通常の可視光領域の波長の電磁波を捉えるカメラの場合も、流体20でマスキングされたエリアのRGB値を予め測定しておくのがよい。
なお、本発明とは直接関係無いが、［特許文献1］の特許第6349048号公報で開示されているような可視光線領域の波長の電磁波を捉える方式のタッチパネルでは低照度環境では利用出来ない。また、［特許文献2］の特許第6086461号公報で開示されているような流体内を透過する赤外線領域の波長の電磁波を捉える方式のタッチパネルでは、赤外線サーモグラフィカメラを用いるため、熱を有していない物体で被接触面を触った場合には検知できない。
また、図3の例では説明上、磁性流体20の色を黒色（RGB値はR:0,G:0,B:0）とした。しかし、カメラ50が暗視カメラの場合、暗視カメラの機種によっては磁性流体20でマスキングされたエリアを黒以外の色で表現する機種も存在する。そこで、予め磁性流体20でマスキングされたエリアのRGB値（色データ）を測定しておき、その値を用いてフィルタリングするのがよい。同様に、カメラ50が通常の可視光領域の波長の電磁波を捉えるカメラの場合も、流体20でマスキングされたエリアのRGB値を予め測定しておくのがよい。
なお、本発明とは直接関係無いが、［特許文献1］の特許第6349048号公報で開示されているような可視光線領域の波長の電磁波を捉える方式のタッチパネルでは低照度環境では利用出来ない。また、［特許文献2］の特許第6086461号公報で開示されているような流体内を透過する赤外線領域の波長の電磁波を捉える方式のタッチパネルでは、赤外線サーモグラフィカメラを用いるため、熱を有していない物体で被接触面を触った場合には検知できない。
［第2の実施の形態］
次に、本発明の第2の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図4(a)に示すようにカメラ50の周辺或はタッチパネル本体部Vの対向面12の近傍に高照度光源60が在ると、高照度光源60からの光（電磁波）63が撮影画像52にノイズとして乗ってしまい、近接箇所14ではない箇所（誤検知箇所62）が生じてしまう可能性が有る。
これを防ぐには近接箇所14を透過した電磁波以外の電磁波がカメラ50のレンズに侵入しないようにするための部材を備えることにすればよい。具体的には図4(b)のように透明度の無い素材や金属等から成る遮蔽部材19で対向面12とカメラ50の間の空間の周囲を覆い密閉して、近接箇所を透過した電磁波15以外の電磁波がカメラ50のレンズに侵入しないようにすれば良い。
次に、本発明の第2の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図4(a)に示すようにカメラ50の周辺或はタッチパネル本体部Vの対向面12の近傍に高照度光源60が在ると、高照度光源60からの光（電磁波）63が撮影画像52にノイズとして乗ってしまい、近接箇所14ではない箇所（誤検知箇所62）が生じてしまう可能性が有る。
これを防ぐには近接箇所14を透過した電磁波以外の電磁波がカメラ50のレンズに侵入しないようにするための部材を備えることにすればよい。具体的には図4(b)のように透明度の無い素材や金属等から成る遮蔽部材19で対向面12とカメラ50の間の空間の周囲を覆い密閉して、近接箇所を透過した電磁波15以外の電磁波がカメラ50のレンズに侵入しないようにすれば良い。
［第3の実施の形態］
次に、本発明の第3の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図5(a)のように直射日光や水銀灯等の高照度光源60の直下にタッチパネル本体Vを置いて使用する場合は、高照度光源60が発する光（電磁波）が強い。そのためユーザの手UHが被接触面11を押下しなくても、高照度光源60からの磁性流体20を透過した光（電磁波）61がノイズとなり誤検知箇所62が生じてしまう可能性が有る。
これを防ぐために、カメラ50で捉えることができる波長領域の電磁波を反射する電磁波反射シート16を被接触面11の表面に配置すればよい。具体的には、図5(b)のように金属箔等から成る電磁波反射シート16で被接触面11を覆う事により、高照度光源60の照度がどれほど強くても高照度光源60による電磁波が磁性流体20を透過しないようにすれば良い。これによりタッチパネルシステムの精度の向上が図れる。
なお、本実施の形態のタッチパネルシステムを極端な低照度環境下で用いる場合は2点注意が必要となる。
1点目は電磁波反射シート16の材料を、カメラで捉えることができる波長領域の電磁波を吸収する材料にしないことである。なぜなら、カメラ50から見ると磁性流体20と電磁波反射シート16の区別がつかなくなり近接箇所14の像が取得出来ず、タッチパネルの精度が低下する恐れが有るためである。具体的には撮影画像52の近接箇所14と磁性流体20のコントラストが低くなる。そのため電磁波反射シート16は必ずカメラで捉えることができる波長領域の電磁波を反射できる金属箔等の材料にする必要がある。
2点目は電磁波反射シート16の存在により近接箇所14からも光（電磁波）がカメラ50に侵入してこなくなるため、極端な低照度環境下ではカメラ50が光量不足を引き起こし、近接箇所14をうまく捉えられなくなる可能性が有る。そのため図5(b)のようにカメラ50として赤外線照射装置54を備えたパッシブ方式暗視カメラ53を用いる事により光量不足を補ってやるか、適当な照度の光源をカメラ50の近傍に配置する事が好ましい。
次に、本発明の第3の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図5(a)のように直射日光や水銀灯等の高照度光源60の直下にタッチパネル本体Vを置いて使用する場合は、高照度光源60が発する光（電磁波）が強い。そのためユーザの手UHが被接触面11を押下しなくても、高照度光源60からの磁性流体20を透過した光（電磁波）61がノイズとなり誤検知箇所62が生じてしまう可能性が有る。
これを防ぐために、カメラ50で捉えることができる波長領域の電磁波を反射する電磁波反射シート16を被接触面11の表面に配置すればよい。具体的には、図5(b)のように金属箔等から成る電磁波反射シート16で被接触面11を覆う事により、高照度光源60の照度がどれほど強くても高照度光源60による電磁波が磁性流体20を透過しないようにすれば良い。これによりタッチパネルシステムの精度の向上が図れる。
なお、本実施の形態のタッチパネルシステムを極端な低照度環境下で用いる場合は2点注意が必要となる。
1点目は電磁波反射シート16の材料を、カメラで捉えることができる波長領域の電磁波を吸収する材料にしないことである。なぜなら、カメラ50から見ると磁性流体20と電磁波反射シート16の区別がつかなくなり近接箇所14の像が取得出来ず、タッチパネルの精度が低下する恐れが有るためである。具体的には撮影画像52の近接箇所14と磁性流体20のコントラストが低くなる。そのため電磁波反射シート16は必ずカメラで捉えることができる波長領域の電磁波を反射できる金属箔等の材料にする必要がある。
2点目は電磁波反射シート16の存在により近接箇所14からも光（電磁波）がカメラ50に侵入してこなくなるため、極端な低照度環境下ではカメラ50が光量不足を引き起こし、近接箇所14をうまく捉えられなくなる可能性が有る。そのため図5(b)のようにカメラ50として赤外線照射装置54を備えたパッシブ方式暗視カメラ53を用いる事により光量不足を補ってやるか、適当な照度の光源をカメラ50の近傍に配置する事が好ましい。
［第4の実施の形態］
次に、本発明の第4の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図6のように映像表示装置200としてフレキシブルディスプレイ202を用いて、フレキシブルディスプレイ202を介して被接触面11に外力を作用させる。そして、フレキシブルディスプレイ202と被接触面11の間に、フレキシブルディスプレイ202のICや回路パターン等の背面部品210により生じる凸部の高さよりも大きい厚さの可撓性を有するシート17を配置する。これによりタッチパネル本体部Vと映像表示装置200であるフレキシブルディスプレイ202が一体化したタッチパネルシステムを得られる。
なお、この時も1つだけ注意点があり、フレキシブルディスプレイ202の背面部品210による凸部が存在する場合、あまりにも薄すぎるシート17を用いると図7のように凸部の高さd3だけ被接触面11と対向面12が意図せず近接してしまい、ノイズの近接箇所64が発生してしまう可能性がある。これを防ぐためには図6のように背面部品210による凸部の高さd3を吸収できる十分な厚さのシート17を用いて凸部を常時吸収して平坦にすればよい。或は電磁波反射シート16としてd3以上の厚さの可撓性を有する材料を用いて、これを被接触面11とフレキシブルディスプレイ200の間に挟む事で背面部品210の凸部を平坦にしてもよい。
なお、フレキシブルディスプレイ202の背後に上記凸部がほぼ存在しない場合にはシート17を用いずに被接触面11の表面にフレキシブルディスプレイ202を直接載置し、固定すればよい。
次に、本発明の第4の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図6のように映像表示装置200としてフレキシブルディスプレイ202を用いて、フレキシブルディスプレイ202を介して被接触面11に外力を作用させる。そして、フレキシブルディスプレイ202と被接触面11の間に、フレキシブルディスプレイ202のICや回路パターン等の背面部品210により生じる凸部の高さよりも大きい厚さの可撓性を有するシート17を配置する。これによりタッチパネル本体部Vと映像表示装置200であるフレキシブルディスプレイ202が一体化したタッチパネルシステムを得られる。
なお、この時も1つだけ注意点があり、フレキシブルディスプレイ202の背面部品210による凸部が存在する場合、あまりにも薄すぎるシート17を用いると図7のように凸部の高さd3だけ被接触面11と対向面12が意図せず近接してしまい、ノイズの近接箇所64が発生してしまう可能性がある。これを防ぐためには図6のように背面部品210による凸部の高さd3を吸収できる十分な厚さのシート17を用いて凸部を常時吸収して平坦にすればよい。或は電磁波反射シート16としてd3以上の厚さの可撓性を有する材料を用いて、これを被接触面11とフレキシブルディスプレイ200の間に挟む事で背面部品210の凸部を平坦にしてもよい。
なお、フレキシブルディスプレイ202の背後に上記凸部がほぼ存在しない場合にはシート17を用いずに被接触面11の表面にフレキシブルディスプレイ202を直接載置し、固定すればよい。
［第5の実施の形態］
次に、本発明の第5の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
一般に十分なクッション性や心理的に柔らかいと感じる感触を得るには薄い形状のクッションより厚い形状のクッションの方が有利である。しかしクッション性を高めるために、例えば被接触面11から対向面12までの距離dが十数センチ以上、或は数メートルオーダーの厚さを有した部分が存在するタッチパネル本体部Vを作る場合、図8(a)のように被接触面11と対向面12の距離dが離れすぎているためタッチパネル本体部Vを強い力で押下してもカメラ50で捉えられる近接箇所14（つまりd=0や0近傍の値になる部分）がうまく発生しない可能性が有る。
これを解決する工夫としては図8(b)のように被接触面11から空間80側に向いた複数の突起部18を設ければよい。突起部18はカメラ50で捉えることができる波長領域の電磁波を透過する材料から成る。これにより突起部18の長さだけストローク距離（接触検知可能距離）d2を短縮出来る。図8の例では突起部18を設けることでストローク距離をdからd2に短縮している。これによりユーザの手UHで強い力を加えたり、或は被接触面11やタッチパネル本体部Vを大きく変形させたりする事無しに近接箇所14を発生させる事が出来る。なお、突起部18を対向面12側に設けても同様の効果が得られる。
次に、本発明の第5の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
一般に十分なクッション性や心理的に柔らかいと感じる感触を得るには薄い形状のクッションより厚い形状のクッションの方が有利である。しかしクッション性を高めるために、例えば被接触面11から対向面12までの距離dが十数センチ以上、或は数メートルオーダーの厚さを有した部分が存在するタッチパネル本体部Vを作る場合、図8(a)のように被接触面11と対向面12の距離dが離れすぎているためタッチパネル本体部Vを強い力で押下してもカメラ50で捉えられる近接箇所14（つまりd=0や0近傍の値になる部分）がうまく発生しない可能性が有る。
これを解決する工夫としては図8(b)のように被接触面11から空間80側に向いた複数の突起部18を設ければよい。突起部18はカメラ50で捉えることができる波長領域の電磁波を透過する材料から成る。これにより突起部18の長さだけストローク距離（接触検知可能距離）d2を短縮出来る。図8の例では突起部18を設けることでストローク距離をdからd2に短縮している。これによりユーザの手UHで強い力を加えたり、或は被接触面11やタッチパネル本体部Vを大きく変形させたりする事無しに近接箇所14を発生させる事が出来る。なお、突起部18を対向面12側に設けても同様の効果が得られる。
また、図9(a)のように被接触面11に異なる長さの突起部18を設ける事により、タッチパネル本体部Vのエリア毎にストローク距離d2を変化させることが出来る。更に図9(b)のように被接触面11が湾曲することで全体の厚さが一様では無いタッチパネル本体部Vを用いる場合でもすべてのエリアのストローク距離d2を同じ値にする事も可能である。このように突起部18の長さを調整する事によりタッチパネル本体部Vのエリア毎にストローク距離d2を自由に調整出来る。なお、突起部18の先端に取り付けることができるアタッチメントを用意しておき、複数の突起部18のうち任意の突起部18にアタッチメントを取り付けることでアタッチメントを含む突起部18全体の長さを可変にしてもよい。
［第6の実施の形態］
次に、本発明の第6の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
本タッチパネルシステムは突起部18が磁界発生用のコイル22を備える点に特徴を有する。コイル22の替わりに電磁石を用いてもよい。
被接触面11のみ或は被接触面11と対向面12の両者が可撓性を有した柔軟な材料から成るため、図10のようにタッチパネル本体Vの内部のコイル22により発生する磁界やタッチパネル本体V周辺の磁界を利用して磁性流体20内の磁性体の形状を変化させることができる。
突起部18内の任意のコイル22に電流を流すとそのコイル22近傍のエリアに磁界が励起されるため、磁性流体20中の磁性体がその磁界或は磁束に沿って変形する。磁界発生用コイル電流制御回路23を用いてどのエリアの突起部18のコイル22に電流を流すかのON−OFFや電流量[A]を制御する事により、任意のタイミングでタッチパネル本体部Vの形状や或はユーザの手UHが触った際の硬さ（感触）等を変化させる事が可能である。近接箇所14のXY座標や形状データに応じてタッチパネル本体部Vの形状等を変化させてもよい。
またコイル22の電流を調整する事により磁性流体20の形状を制御して、近接箇所14の周囲に磁性体を集めたり、或は周囲から磁性体を排除したりしてもよい。これにより近接箇所14の発生エリアを拡大・縮小或は強制的に消滅させる事ができ、近接箇所14の形状の制御が可能となる。また、近接箇所14の周囲に近接箇所14の座標の移動に合わせて同期移動する模様或は文字を磁性体で描く事も可能である。
次に、本発明の第6の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
本タッチパネルシステムは突起部18が磁界発生用のコイル22を備える点に特徴を有する。コイル22の替わりに電磁石を用いてもよい。
被接触面11のみ或は被接触面11と対向面12の両者が可撓性を有した柔軟な材料から成るため、図10のようにタッチパネル本体Vの内部のコイル22により発生する磁界やタッチパネル本体V周辺の磁界を利用して磁性流体20内の磁性体の形状を変化させることができる。
突起部18内の任意のコイル22に電流を流すとそのコイル22近傍のエリアに磁界が励起されるため、磁性流体20中の磁性体がその磁界或は磁束に沿って変形する。磁界発生用コイル電流制御回路23を用いてどのエリアの突起部18のコイル22に電流を流すかのON−OFFや電流量[A]を制御する事により、任意のタイミングでタッチパネル本体部Vの形状や或はユーザの手UHが触った際の硬さ（感触）等を変化させる事が可能である。近接箇所14のXY座標や形状データに応じてタッチパネル本体部Vの形状等を変化させてもよい。
またコイル22の電流を調整する事により磁性流体20の形状を制御して、近接箇所14の周囲に磁性体を集めたり、或は周囲から磁性体を排除したりしてもよい。これにより近接箇所14の発生エリアを拡大・縮小或は強制的に消滅させる事ができ、近接箇所14の形状の制御が可能となる。また、近接箇所14の周囲に近接箇所14の座標の移動に合わせて同期移動する模様或は文字を磁性体で描く事も可能である。
また、タッチパネル本体部Vの空間80を被接触面11側と対向面12側の二層に分割して、二層のうち一方の層に磁性流体20を収容し、他方の層に流体21のみを収容することにしてもよい。
具体的には図10（a）のように被接触面11と対向面12で挟まれた空間80の全体に磁性流体20を収容するのではなく、図10(b)のように可撓性を有するシート25で空間80を二層に分けて、一方の層に磁性流体20を収容し、他方の層に磁性体を含まない流体21を収容する。流体21は磁性体を含んでおらず、また、カメラ50で捉えることができる波長領域の電磁波を遮蔽又は吸収する性質を有する。なお、流体21として液体でなく、カメラで捉えることができる波長領域の電磁波を遮るように着色した気体、より具体的には可視光線又は近赤外線の波長領域の電磁波を遮蔽する程度に濃い煙幕等を用いる事によりタッチパネル本体部Vの重量の軽減を図っても良い。
こうする事により磁性流体20の体積が減る為、僅かな電流で磁性流体20を制御出来る。また、コイル22に高周波な電流を流すと磁性流体20がその高周波電流による磁界で励起されて波状に振動するので、その振動をシート25を介して流体21に伝えてタッチパネル本体部Vを振動させる事も可能である。なおシート25の材料はカメラ50で捉えることができる波長領域の電磁波に対して透過性を有し且つ可撓性が有る材料なら何でも良い。
磁界制御機構24としてコイル22と磁界発生用コイル電流制御回路23の組み合わせを用いたが本発明はこれに限定される物でなく、永久磁石を電磁石や油圧等で物理的に接近させたり遠ざけたりする機構を用いても良い。
具体的には図10（a）のように被接触面11と対向面12で挟まれた空間80の全体に磁性流体20を収容するのではなく、図10(b)のように可撓性を有するシート25で空間80を二層に分けて、一方の層に磁性流体20を収容し、他方の層に磁性体を含まない流体21を収容する。流体21は磁性体を含んでおらず、また、カメラ50で捉えることができる波長領域の電磁波を遮蔽又は吸収する性質を有する。なお、流体21として液体でなく、カメラで捉えることができる波長領域の電磁波を遮るように着色した気体、より具体的には可視光線又は近赤外線の波長領域の電磁波を遮蔽する程度に濃い煙幕等を用いる事によりタッチパネル本体部Vの重量の軽減を図っても良い。
こうする事により磁性流体20の体積が減る為、僅かな電流で磁性流体20を制御出来る。また、コイル22に高周波な電流を流すと磁性流体20がその高周波電流による磁界で励起されて波状に振動するので、その振動をシート25を介して流体21に伝えてタッチパネル本体部Vを振動させる事も可能である。なおシート25の材料はカメラ50で捉えることができる波長領域の電磁波に対して透過性を有し且つ可撓性が有る材料なら何でも良い。
磁界制御機構24としてコイル22と磁界発生用コイル電流制御回路23の組み合わせを用いたが本発明はこれに限定される物でなく、永久磁石を電磁石や油圧等で物理的に接近させたり遠ざけたりする機構を用いても良い。
画像解析部100内の具体的な処理フローを図11に示す。
まずSTEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像を取り込む。次のSTEP2にて、画像RGB解析部103は流体の色のRGB値保存部102に保存されていた磁性流体21或は流体21の色のRGB値を取得し（図11の例では流体21の色は黒でありそのRGB値はR:0,G:0,B:0）、そのRGB値で撮影画像の各画素値を順次フィルタリングする。流体21の色で着色されていないエリアの画素（図11の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出し、撮影画像内のその画素の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のXY座標や形状データとして画像出力部104に送る。
STEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元にポインタ画像201等を生成して、その画像を映像表示装置200に出力する。STEP3の後或は同時にSTEP4にて、磁性流体制御部110は近接箇所14のXY座標や形状データに応じた制御信号を磁界制御機構24の磁界発生用コイル電流制御回路23へ出力し、タッチパネル本体部V全体の形状や固さ（感触）を変化させたり、近接箇所14の形状や固さ（感触）を変化させたりして終了する。
まずSTEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像を取り込む。次のSTEP2にて、画像RGB解析部103は流体の色のRGB値保存部102に保存されていた磁性流体21或は流体21の色のRGB値を取得し（図11の例では流体21の色は黒でありそのRGB値はR:0,G:0,B:0）、そのRGB値で撮影画像の各画素値を順次フィルタリングする。流体21の色で着色されていないエリアの画素（図11の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出し、撮影画像内のその画素の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のXY座標や形状データとして画像出力部104に送る。
STEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元にポインタ画像201等を生成して、その画像を映像表示装置200に出力する。STEP3の後或は同時にSTEP4にて、磁性流体制御部110は近接箇所14のXY座標や形状データに応じた制御信号を磁界制御機構24の磁界発生用コイル電流制御回路23へ出力し、タッチパネル本体部V全体の形状や固さ（感触）を変化させたり、近接箇所14の形状や固さ（感触）を変化させたりして終了する。
［第７の実施の形態］
次に、本発明の第7の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図12(c)に示すように、本実施の形態のタッチパネルシステムは、タッチパネル本体部Vが人体の一部、すなわち頭部と胴体部を模した形状をしている。
可撓性を有した人型形状のタッチパネル本体部Vにすることで、ユーザの手UHで人型形状のタッチパネル本体部Vに接触した際の近接箇所14の座標や形状を取得し、それを反映した映像を映像表示装置200に出力できる。このほかにも図12(b)に示すようにタッチパネル本体部Vを円柱形状としても良く、これを用いる事で映像表示装置200上のキャラクターCGとインタラクティブに殴打出来る拳闘（ボクシング）のサンドバッグ等を作れる。また、磁界を制御して磁性流体20中の磁性体の形状を変化させ、殴打された箇所を凹んだ状態のままに保持する事により殴打箇所の形状を変化させる機能を付加しても良い。なお、本発明と直接関係無いが浮き輪や遊具用プールの素材として使用される軟質塩化ビニールを既知の高周波電流を用いたウェルダ技術（通称、単に高周波ウェルダ）等の手段で溶着してタッチパネル本体部Vを形成すれば、人体や円柱形状だけでない様々な形状のタッチパネル本体部Vを形成できる。更にタッチパネル本体部Vを形成する素材全てを可撓性を有する素材(前述の軟質塩化ビニール等）とする事によりタッチパネル本体部Vをユーザの手UHの代わりに脛部、頭部、舌部、外陰部等の人体の急所を以て押下操作した場合もユーザが怪我する事が無く安全に動作させる事が可能なタッチパネル本体部Vを形成できる。
次に、本発明の第7の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図12(c)に示すように、本実施の形態のタッチパネルシステムは、タッチパネル本体部Vが人体の一部、すなわち頭部と胴体部を模した形状をしている。
可撓性を有した人型形状のタッチパネル本体部Vにすることで、ユーザの手UHで人型形状のタッチパネル本体部Vに接触した際の近接箇所14の座標や形状を取得し、それを反映した映像を映像表示装置200に出力できる。このほかにも図12(b)に示すようにタッチパネル本体部Vを円柱形状としても良く、これを用いる事で映像表示装置200上のキャラクターCGとインタラクティブに殴打出来る拳闘（ボクシング）のサンドバッグ等を作れる。また、磁界を制御して磁性流体20中の磁性体の形状を変化させ、殴打された箇所を凹んだ状態のままに保持する事により殴打箇所の形状を変化させる機能を付加しても良い。なお、本発明と直接関係無いが浮き輪や遊具用プールの素材として使用される軟質塩化ビニールを既知の高周波電流を用いたウェルダ技術（通称、単に高周波ウェルダ）等の手段で溶着してタッチパネル本体部Vを形成すれば、人体や円柱形状だけでない様々な形状のタッチパネル本体部Vを形成できる。更にタッチパネル本体部Vを形成する素材全てを可撓性を有する素材(前述の軟質塩化ビニール等）とする事によりタッチパネル本体部Vをユーザの手UHの代わりに脛部、頭部、舌部、外陰部等の人体の急所を以て押下操作した場合もユーザが怪我する事が無く安全に動作させる事が可能なタッチパネル本体部Vを形成できる。
［第8の実施の形態］
次に、本発明の第8の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図13に示すように、本実施の形態のタッチパネルシステムは流体20からタッチパネル本体部Vに作用する圧力を制御するための流体圧力制御機構30を備える点と、流体圧力制御機構30が近接箇所14の座標、近接箇所14の形状及び近接距離の3つのうち少なくとも1つに基づいて圧力を変化させる点に特徴を有する。
具体的には、磁性流体20の圧力を変化させるための電動ポンプ等の流体圧力制御機構30をタッチパネル本体部Vに設ける。そして、画像解析部100によるカメラ50の撮影画像の解析結果を流体圧力制御機構30にフィードバックして磁性流体20に与える圧力を変化させる事により、ユーザの手UHが被接触面11に接触した際の固さやクッション性等をリアルタイムに調整する事が出来る。例えば、画像解析部100が算出した近接箇所14の縦横座標（図13ではXY座標で表現）やユーザの手UHが被接触面11に埋没した深さ（近接距離、図13ではZ座標で表現）等の位置座標情報を流体圧力制御機構30の駆動制御に反映させ、被接触面11或はタッチパネル本体部Vの固さ等を変化させる事が可能になる。
次に、本発明の第8の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図13に示すように、本実施の形態のタッチパネルシステムは流体20からタッチパネル本体部Vに作用する圧力を制御するための流体圧力制御機構30を備える点と、流体圧力制御機構30が近接箇所14の座標、近接箇所14の形状及び近接距離の3つのうち少なくとも1つに基づいて圧力を変化させる点に特徴を有する。
具体的には、磁性流体20の圧力を変化させるための電動ポンプ等の流体圧力制御機構30をタッチパネル本体部Vに設ける。そして、画像解析部100によるカメラ50の撮影画像の解析結果を流体圧力制御機構30にフィードバックして磁性流体20に与える圧力を変化させる事により、ユーザの手UHが被接触面11に接触した際の固さやクッション性等をリアルタイムに調整する事が出来る。例えば、画像解析部100が算出した近接箇所14の縦横座標（図13ではXY座標で表現）やユーザの手UHが被接触面11に埋没した深さ（近接距離、図13ではZ座標で表現）等の位置座標情報を流体圧力制御機構30の駆動制御に反映させ、被接触面11或はタッチパネル本体部Vの固さ等を変化させる事が可能になる。
このときの画像解析部100内の具体的な処理フローを図14に示す。
STEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像を取り込む。
STEP2にて、画像RGB解析部103は流体の色のRGB値保存部102に保存されていた磁性流体20の色のRGB値を取得し（図14の例では時流体20の色は黒でありそのRGB値はR:0,G:0,B:0）、そのRGB値で撮影画像の各画素値を順次フィルタリングする。また、磁性流体20の色で着色されていないエリアの画素（図14の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出する。そして、撮影画像内のその画素の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
STEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元にポインタ画像等を生成して、その画像を映像表示装置200に出力する。この時同時にSTEP4にて、流体圧力制御部105（流体圧力制御機構30の一部）は近接箇所14のXY座標や形状データに応じた制御信号を電動ポンプ等の流体圧力制御機構30へ出力する事によりタッチパネル本体部Vの内部流体20の流体の圧力を変化させて終了する。
STEP1にて、画像取込部101はカメラ50で撮影した近接箇所14を含む対向面12の撮影画像を取り込む。
STEP2にて、画像RGB解析部103は流体の色のRGB値保存部102に保存されていた磁性流体20の色のRGB値を取得し（図14の例では時流体20の色は黒でありそのRGB値はR:0,G:0,B:0）、そのRGB値で撮影画像の各画素値を順次フィルタリングする。また、磁性流体20の色で着色されていないエリアの画素（図14の例ではRGB値がR:0,G:0,B:0以外の画素）を抽出する。そして、撮影画像内のその画素の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
STEP3にて、画像出力部104は近接箇所14のXY座標や形状データを元にポインタ画像等を生成して、その画像を映像表示装置200に出力する。この時同時にSTEP4にて、流体圧力制御部105（流体圧力制御機構30の一部）は近接箇所14のXY座標や形状データに応じた制御信号を電動ポンプ等の流体圧力制御機構30へ出力する事によりタッチパネル本体部Vの内部流体20の流体の圧力を変化させて終了する。
［第9の実施の形態］
次に、本発明の第9の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
本実施の形態では、磁性流体20の温度を制御するための流体温度制御機構を備えることを特徴とする。具体的には図15に示すように、磁性流体20の温度を一定に保つためのヒーターやクーラー等の流体温度制御機構40と温度センサー41を設ける事により、周辺環境の温度に関わらず磁性流体20の温度を例えば人間の体温と同じ温度になるように一定に保つ事ができる。またタッチパネル本体部Vを人体を模した形状にすれば、人体に近い柔軟性と体温両方の性質を持つタッチパネルシステムが得られる。
なお、［特許文献2］の特許第6086461号公報に開示されている赤外線を用いた方式のタッチパネルは赤外線サーモグラフィで人間の体温を感知する方式のため、図15のように人肌に温めたタッチパネル本体部Vに対して近接箇所14を検知出来ないという問題がある。
次に、本発明の第9の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
本実施の形態では、磁性流体20の温度を制御するための流体温度制御機構を備えることを特徴とする。具体的には図15に示すように、磁性流体20の温度を一定に保つためのヒーターやクーラー等の流体温度制御機構40と温度センサー41を設ける事により、周辺環境の温度に関わらず磁性流体20の温度を例えば人間の体温と同じ温度になるように一定に保つ事ができる。またタッチパネル本体部Vを人体を模した形状にすれば、人体に近い柔軟性と体温両方の性質を持つタッチパネルシステムが得られる。
なお、［特許文献2］の特許第6086461号公報に開示されている赤外線を用いた方式のタッチパネルは赤外線サーモグラフィで人間の体温を感知する方式のため、図15のように人肌に温めたタッチパネル本体部Vに対して近接箇所14を検知出来ないという問題がある。
［第10の実施の形態］
次に、本発明の第10の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図16に示すように、本発明のタッチパネルシステムでは、映像表示装置200として可撓性或は柔軟性を有したプロジェクタースクリーン211を被接触面11に密着配置させている。プロジェクター212から投射された画像内のオブジェクト（具体的にはCG等で作成した物体）に触る事が可能な柔軟で等身大サイズのタッチパネルを得られる。
なお、プロジェクタースクリーン211を被接触面11に密着配置させる具体的な方法としては接着や熱圧着が挙げられる。また、被接触面11に透明な素材のポケットを設けてそこにプロジェクタースクリーン211を挿入してもよい。
次に、本発明の第10の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図16に示すように、本発明のタッチパネルシステムでは、映像表示装置200として可撓性或は柔軟性を有したプロジェクタースクリーン211を被接触面11に密着配置させている。プロジェクター212から投射された画像内のオブジェクト（具体的にはCG等で作成した物体）に触る事が可能な柔軟で等身大サイズのタッチパネルを得られる。
なお、プロジェクタースクリーン211を被接触面11に密着配置させる具体的な方法としては接着や熱圧着が挙げられる。また、被接触面11に透明な素材のポケットを設けてそこにプロジェクタースクリーン211を挿入してもよい。
［本発明の記録媒体の実施の形態］
次に、本発明の記録媒体に格納されるプログラムについて説明する。なお、タッチパネルのユーザが接触した箇所の座標や形状の取得に関する内部処理フローの詳細については上記各実施の形態で説明済みのため、本実施の形態ではプログラム（ソフトウェア）の処理フローのみに限定する。
図17に示すように、STEP1にてカメラ50で撮影した撮影画像51を取り込み、STEP2にて撮影画像51の画素を解析する事により対向面12上の近接箇所14の近接箇所の座標データ220と近接箇所の形状データ221を取得する。STEP3にて、近接箇所の座標データ220と近接箇所の形状データ221を元に生成したポインタ画像201等の画像を映像表示装置200に出力する。STEP4にて、近接箇所の座標データ220と近接箇所の形状データ221を磁性流体制御部110（つまり磁界制御機構24）に出力する事により被接触面11の形状或は固さを変化させて終了する。
次に、本発明の記録媒体に格納されるプログラムについて説明する。なお、タッチパネルのユーザが接触した箇所の座標や形状の取得に関する内部処理フローの詳細については上記各実施の形態で説明済みのため、本実施の形態ではプログラム（ソフトウェア）の処理フローのみに限定する。
図17に示すように、STEP1にてカメラ50で撮影した撮影画像51を取り込み、STEP2にて撮影画像51の画素を解析する事により対向面12上の近接箇所14の近接箇所の座標データ220と近接箇所の形状データ221を取得する。STEP3にて、近接箇所の座標データ220と近接箇所の形状データ221を元に生成したポインタ画像201等の画像を映像表示装置200に出力する。STEP4にて、近接箇所の座標データ220と近接箇所の形状データ221を磁性流体制御部110（つまり磁界制御機構24）に出力する事により被接触面11の形状或は固さを変化させて終了する。
本発明は、装置構成が簡易で周囲の温度の影響を受けにくく、使用時に変形可能であり、更に指等で触れた際の力の強さも検出できるタッチパネルシステムに関するものであり、また、接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステム及び記録媒体に関するものであり、産業上の利用可能性を有する。
d 被接触面から対向面までの距離
d2 ストローク距離（接触検知可能距離）
d3 凸部の高さ
UH ユーザの手
V タッチパネル本体部
1 タッチパネルシステム
11 被接触面
12 対向面
13 注入口
14 近接箇所
15 近接箇所を透過した電磁波
16 電磁波反射シート
17 シート
18 突起部
19 遮蔽部材
20 磁性流体
21 流体
22 コイル（磁界励起用）
23 磁界発生用コイル電流制御回路
24 磁界制御機構
25 シート
30 流体圧力制御機構
40 流体温度制御機構
41 温度センサー
50 カメラ
51 撮影画像（画像解析時イメージ）
52 撮影画像（対向面から見たイメージ）
53 パッシブ方式暗視装置カメラ
54 赤外線照射装置
60 高照度光源
61 高照度光源からの磁性流体を透過した光（電磁波）
62 誤検知箇所
63 光（電磁波）
64 ノイズの近接箇所
80 空間
100 画像解析部（コンピュータ）
101 画像取込部
102 流体の色のRGB値保存部
103 画像RGB解析部
104 画像出力部
105 流体圧力制御部
110 磁性流体制御部
111 磁界発生用コイル電流制御部
200 映像表示装置
201 ポインタ画像
202 フレキシブルディスプレイ
210 背面部品
211 プロジェクタースクリーン
212 プロジェクター
220 近接箇所の座標データ
221 近接箇所の形状データ
d2 ストローク距離（接触検知可能距離）
d3 凸部の高さ
UH ユーザの手
V タッチパネル本体部
1 タッチパネルシステム
11 被接触面
12 対向面
13 注入口
14 近接箇所
15 近接箇所を透過した電磁波
16 電磁波反射シート
17 シート
18 突起部
19 遮蔽部材
20 磁性流体
21 流体
22 コイル（磁界励起用）
23 磁界発生用コイル電流制御回路
24 磁界制御機構
25 シート
30 流体圧力制御機構
40 流体温度制御機構
41 温度センサー
50 カメラ
51 撮影画像（画像解析時イメージ）
52 撮影画像（対向面から見たイメージ）
53 パッシブ方式暗視装置カメラ
54 赤外線照射装置
60 高照度光源
61 高照度光源からの磁性流体を透過した光（電磁波）
62 誤検知箇所
63 光（電磁波）
64 ノイズの近接箇所
80 空間
100 画像解析部（コンピュータ）
101 画像取込部
102 流体の色のRGB値保存部
103 画像RGB解析部
104 画像出力部
105 流体圧力制御部
110 磁性流体制御部
111 磁界発生用コイル電流制御部
200 映像表示装置
201 ポインタ画像
202 フレキシブルディスプレイ
210 背面部品
211 プロジェクタースクリーン
212 プロジェクター
220 近接箇所の座標データ
221 近接箇所の形状データ
Claims (19)
- 被接触面が可視光線又は近赤外線の波長領域の電磁波を透過し且つ可撓性を有する材料から成り、前記被接触面の対向面が前記波長領域の電磁波を透過する材料から成り、前記被接触面と前記対向面とに挟まれた空間を備える袋状のタッチパネル本体部と、
前記波長領域の電磁波を遮蔽又は吸収する流体と磁性体から成る磁性流体と、
前記波長領域の電磁波を撮影可能であり前記対向面を撮影するカメラと、
前記カメラの撮影画像の画素を解析する画像解析部と、
前記磁性流体に磁界を印加して制御する磁界制御機構とを備え、
前記磁性流体は前記空間の内部に収容されており、
前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記磁性流体が移動することにより生じる前記波長領域の電磁波の変化を撮影し、
前記画像解析部は前記撮影画像の画素の解析結果に基づいて、前記対向面上の前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つを算出して映像表示装置の映像に反映させ、
前記磁界制御機構は前記解析結果に基づいて前記磁性流体に印加する磁界を制御することを特徴とするタッチパネルシステム。
- 前記磁界制御機構が前記磁性流体に印加する磁界を制御することで前記被接触面の形状と硬さのうち少なくとも一方を変化させることを特徴とする請求項1に記載のタッチパネルシステム。
- 前記磁界制御機構が前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つに基づいて前記磁界を制御することを特徴とする請求項1又は2に記載のタッチパネルシステム。
- 前記空間が前記被接触面側と前記対向面側の二層に分割されており、前記二層のうち一方の層に前記磁性流体を収容し、他方の層に前記流体のみを収容することを特徴とする請求項1〜3のいずれか一項に記載のタッチパネルシステム。
- 前記他方の層に、前記流体の替わりに可視光線又は近赤外線の波長領域の電磁波を遮蔽する気体を収容することを特徴とする請求項4に記載のタッチパネルシステム。
- 前記波長領域の電磁波を透過する材料から成り、前記被接触面及び／又は前記対向面から前記空間側に向いた複数の突起部を備えることを特徴とする請求項1〜5のいずれか一項に記載のタッチパネルシステム。
- 前記突起部の長さが可変であることを特徴とする請求項6に記載のタッチパネルシステム。
- 複数の前記突起部各々の長さが異なることを特徴とする請求項6又は7に記載のタッチパネルシステム。
- 前記突起部が磁界発生用の電磁石又はコイルを備えることを特徴とする請求項6〜8のいずれか一項に記載のタッチパネルシステム。
- 前記磁性流体の温度を制御するための流体温度制御機構を備えることを特徴とする請求項1〜9のいずれか一項に記載のタッチパネルシステム。
- 前記磁性流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、
前記流体圧力制御機構は前記近接箇所の座標、前記近接箇所の形状、近接距離の3つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする請求項1〜10のいずれか一項に記載のタッチパネルシステム。
- 前記カメラが可視光線の波長領域の電磁波を撮影可能であることを特徴とする請求項1〜11のいずれか一項に記載のタッチパネルシステム。
- 前記カメラが近赤外線の波長領域の電磁波を撮影可能であることを特徴とする請求項1〜11のいずれか一項に記載のタッチパネルシステム。
- 前記映像表示装置がフレキシブルディスプレイであり、前記フレキシブルディスプレイを介して前記被接触面に外力を作用させることを特徴とする請求項1〜13のいずれか一項に記載のタッチパネルシステム。
- 前記フレキシブルディスプレイと前記被接触面の間に、前記フレキシブルディスプレイの背面の凸部の高さよりも大きい厚さの可撓性を有するシートを備えることを特徴とする請求項14に記載のタッチパネルシステム。
- 前記波長領域の電磁波を反射する電磁波反射シートを前記被接触面の表面に備えることを特徴とする請求項1〜15のいずれか一項に記載のタッチパネルシステム。
- 前記近接箇所を透過した電磁波以外の電磁波が前記カメラのレンズに侵入しないようにするための遮蔽部材を備えることを特徴とする請求項1〜16いずれか一項に記載のタッチパネルシステム。
- 前記被接触面の表面にプロジェクタースクリーンを備えることを特徴とする請求項1〜17のいずれか一項に記載のタッチパネルシステム。
- 請求項1〜18のいずれか一項に記載のタッチパネルシステムで用いるプログラムを格納する記録媒体であり、
前記撮影画像を取り込むステップと、前記撮影画像の画素を解析するステップと、前記対向面上の前記近接箇所の座標と前記近接箇所の形状のうち少なくとも1つを算出して前記映像表示装置の映像に反映させるステップと、前記解析結果に基づいて前記磁界制御機構が前記磁性流体に印加する磁界を制御して前記被接触面の形状と硬さのうち少なくとも一方を変化させるステップとをコンピュータに実行させるプログラムを格納することを特徴とする記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018175500A JP6472109B1 (ja) | 2018-09-20 | 2018-09-20 | タッチパネルシステム及び記録媒体 |
| US17/048,486 US11003286B2 (en) | 2018-09-20 | 2019-09-19 | Touch panel system, intercommunication-type touch panel system and recording medium |
| PCT/JP2019/036704 WO2020059780A1 (ja) | 2018-09-20 | 2019-09-19 | タッチパネルシステム、相互通信型タッチパネルシステム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018175500A JP6472109B1 (ja) | 2018-09-20 | 2018-09-20 | タッチパネルシステム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6472109B1 true JP6472109B1 (ja) | 2019-02-20 |
| JP2020047008A JP2020047008A (ja) | 2020-03-26 |
Family
ID=65443080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018175500A Active JP6472109B1 (ja) | 2018-09-20 | 2018-09-20 | タッチパネルシステム及び記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11003286B2 (ja) |
| JP (1) | JP6472109B1 (ja) |
| WO (1) | WO2020059780A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021090712A1 (ja) * | 2019-11-05 | 2021-05-14 | ソニー株式会社 | 触覚提示装置、流体制御装置、流体制御方法及びプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020187427A (ja) * | 2019-05-10 | 2020-11-19 | 株式会社ジャパンディスプレイ | センサ装置 |
| RU2754259C1 (ru) * | 2021-03-14 | 2021-08-31 | Кирилл Владимирович Кирилов | Устройство изменения поверхности электронного устройства с применением магнитной жидкости |
| RU2754260C1 (ru) * | 2021-03-14 | 2021-08-31 | Кирилл Владимирович Кирилов | Устройство изменения поверхности электронного устройства с применением электромагнитных элементов |
| CN114783298B (zh) * | 2022-05-25 | 2023-08-01 | 苏州华星光电技术有限公司 | 柔性屏的校平装置和柔性屏的校平方法 |
| CN115113729A (zh) * | 2022-06-09 | 2022-09-27 | 重庆魅声科技有限责任公司 | 一种磁流体的触觉与脉搏交互装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130275082A1 (en) * | 2012-04-17 | 2013-10-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Jammable HCI Interfaces |
| US20160005277A1 (en) * | 2013-03-10 | 2016-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Visual and touch interaction display |
| JP6086461B1 (ja) * | 2016-09-09 | 2017-03-01 | 株式会社ネットアプリ | タッチパネル及びタッチパネルシステム |
| WO2018008444A1 (ja) * | 2016-07-07 | 2018-01-11 | ポリマテック・ジャパン株式会社 | 磁気変形部材 |
| JP6349048B1 (ja) * | 2018-03-27 | 2018-06-27 | 株式会社ネットアプリ | タッチパネルシステム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5844214A (ja) * | 1981-09-10 | 1983-03-15 | Sanshin Ind Co Ltd | 船外機の水冷式４サイクル内燃機関 |
| KR101422214B1 (ko) * | 2008-01-28 | 2014-07-22 | 삼성전자 주식회사 | 자력 유체를 이용하여 입력 지점을 감지할 수 있는 화면표시 장치 및 방법 |
| US8593409B1 (en) * | 2008-10-10 | 2013-11-26 | Immersion Corporation | Method and apparatus for providing haptic feedback utilizing multi-actuated waveform phasing |
| US9405369B2 (en) * | 2013-04-26 | 2016-08-02 | Immersion Corporation, Inc. | Simulation of tangible user interface interactions and gestures using array of haptic cells |
| CN111998027B (zh) * | 2014-07-28 | 2022-05-27 | Ck高新材料有限公司 | 触觉信息提供方法 |
| US11385714B2 (en) * | 2018-12-13 | 2022-07-12 | Sekisui Polymatech Co., Ltd. | Magnetic deformable member |
-
2018
- 2018-09-20 JP JP2018175500A patent/JP6472109B1/ja active Active
-
2019
- 2019-09-19 WO PCT/JP2019/036704 patent/WO2020059780A1/ja active Application Filing
- 2019-09-19 US US17/048,486 patent/US11003286B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130275082A1 (en) * | 2012-04-17 | 2013-10-17 | Massachusetts Institute Of Technology | Methods and Apparatus for Jammable HCI Interfaces |
| US20160005277A1 (en) * | 2013-03-10 | 2016-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Visual and touch interaction display |
| WO2018008444A1 (ja) * | 2016-07-07 | 2018-01-11 | ポリマテック・ジャパン株式会社 | 磁気変形部材 |
| JP6086461B1 (ja) * | 2016-09-09 | 2017-03-01 | 株式会社ネットアプリ | タッチパネル及びタッチパネルシステム |
| JP6349048B1 (ja) * | 2018-03-27 | 2018-06-27 | 株式会社ネットアプリ | タッチパネルシステム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021090712A1 (ja) * | 2019-11-05 | 2021-05-14 | ソニー株式会社 | 触覚提示装置、流体制御装置、流体制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020059780A1 (ja) | 2020-03-26 |
| JP2020047008A (ja) | 2020-03-26 |
| US11003286B2 (en) | 2021-05-11 |
| US20210109626A1 (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6472109B1 (ja) | タッチパネルシステム及び記録媒体 | |
| US20210350631A1 (en) | Wearable augmented reality devices with object detection and tracking | |
| US10466791B2 (en) | Interactivity model for shared feedback on mobile devices | |
| CN103838371B (zh) | 成像功率的动态节省 | |
| US9613262B2 (en) | Object detection and tracking for providing a virtual device experience | |
| US8279193B1 (en) | Interactivity model for shared feedback on mobile devices | |
| CN103080887B (zh) | 用于基于接近的输入的装置和方法 | |
| KR101484230B1 (ko) | 차량용 터치 디스플레이 장치 및 그 구동 방법 | |
| JP6327931B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| CN108700934A (zh) | 能够进行眼睛追踪的可穿戴设备 | |
| TW201423484A (zh) | 動態偵測系統 | |
| US11537196B2 (en) | Drift cancelation for portable object detection and tracking | |
| CN113260951A (zh) | 基于指距或手接近的淡入用户界面显示 | |
| KR20150108570A (ko) | 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법 | |
| JP6349048B1 (ja) | タッチパネルシステム | |
| JP4296607B2 (ja) | 情報入出力装置及び情報入出力方法 | |
| TWI454653B (zh) | 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法 | |
| JP2014048565A (ja) | 画像表示装置 | |
| CN206249278U (zh) | 一种激光红外多点互动触控装置 | |
| CN109416741B (zh) | 电子设备 | |
| JP2020021334A (ja) | フレキシブルディスプレイ用のタッチパネルシステム | |
| KR20150142556A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180928 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180928 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6472109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |