JP6575882B2 - 入力システム、情報処理装置、制御方法、及びプログラム - Google Patents
入力システム、情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6575882B2 JP6575882B2 JP2018011434A JP2018011434A JP6575882B2 JP 6575882 B2 JP6575882 B2 JP 6575882B2 JP 2018011434 A JP2018011434 A JP 2018011434A JP 2018011434 A JP2018011434 A JP 2018011434A JP 6575882 B2 JP6575882 B2 JP 6575882B2
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- screen
- contact
- contact object
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本開示は、接触物による画面への接触により入力操作を行う入力システムに関する。
タッチパネルは、モニタに表示された画面に指、指し棒等の接触物を接触させることにより入力操作を行うものである。タッチパネルは、感覚的な入力操作が可能であるため、ユーザの作業が利便化する等の利点がある。
最近は、タッチパネル機能を備えていないモニタをタッチパネル化するための技術、すなわち、タッチパネル機能を備えていないモニタに表示された画面に接触物を接触させることにより入力操作を可能とするための技術が提案されている（例えば、特許文献１，２）
特許文献１に記載の技術は、レーザビームポインタの先端部から照射したレーザビームで表示装置のポインティング位置を指し示す一方で、レーザビームポインタの後端部からもレーザビームを照射し、この後端部から照射されたレーザビームを検出板で受光する。この検出板は、表示装置の画面に対応した座標を有しており、検出板で受光された座標位置を基に、表示装置のポインティング位置を検出する。
また、特許文献２に記載の技術は、対象のモニタの下部に赤外線バーを設置する。モニタに表示された画面に接触物が接触すると、赤外線バーから照射された赤外線が接触物で遮られる。このことを利用して、接触物の座標位置を特定する。
その他、関連技術として、特許文献３〜５に記載された技術が挙げられる。
特許文献３に記載の技術は、指示棒と、画面上に取り付けられた２つの超音波センサと、受信アンテナと、を備える。指示棒は、超音波発信器及び基準信号発信器を内部に持ち、超音波及び基準信号を発射し、この超音波及び基準信号を、超音波センサ及び受信アンテナの各々で受信する。そして、超音波センサ及び受信アンテナで受信された基準信号及び超音波を基に、指示棒の位置を検出する。
特許文献３に記載の技術は、指示棒と、画面上に取り付けられた２つの超音波センサと、受信アンテナと、を備える。指示棒は、超音波発信器及び基準信号発信器を内部に持ち、超音波及び基準信号を発射し、この超音波及び基準信号を、超音波センサ及び受信アンテナの各々で受信する。そして、超音波センサ及び受信アンテナで受信された基準信号及び超音波を基に、指示棒の位置を検出する。
また、特許文献４に記載の技術は、１つ以上の超音波発信素子と、２つ以上の超音波受信素子と、を備え、超音波受発信素子の超音波場内で超音波反射体を移動させる。そして、超音波発信素子から超音波が発信されて超音波反射体で反射して各超音波受信素子で受信されるまでの時間をそれぞれ求め、求めた時間の時間差を基に、超音波反射体の座標位置を演算する。
また、特許文献５に記載の技術は、ホワイトボードの周囲に少なくとも２つの超音波検出器を備える。スタイラスは、先端のチップが押圧されると、超音波パルスを発信し、その超音波パルスを超音波検出器で受信する。そして、超音波検出器で受信された超音波パルスを基に、スタイラスの位置を検出する。
しかし、特許文献１に記載の技術は、レーザビームポインタで入力操作を行う必要がある。また、特許文献３に記載の技術は、超音波発信器及び基準信号発信器を内部に持つ指示棒で入力操作を行う必要がある。また、特許文献５に記載の技術は、先端のチップが押圧されると超音波パルスを発信する機能を備えるスタイラスで入力操作を行う必要がある。そのため、特許文献１，３，５に記載の技術は、特定の手段でのみ入力操作が可能であり、指で入力操作ができないという問題がある。
また、特許文献２に記載の技術は、モニタの下部に赤外線バーを設置する必要がある。そのため、特許文献２に記載の技術は、赤外線バーのサイズとモニタサイズが一致するモニタのみが利用可能であり、モニタサイズの制限を受けるという問題がある。
また、特許文献４に記載の技術は、１つ以上の超音波発信素子（超音波センサ）と、２つ以上の超音波受信素子（超音波センサ）と、を設ける必要がある。そのため、特許文献４に記載の技術は、超音波センサが３つ以上必要であり、コスト面等で不利であるという問題がある。
本開示の目的は、上述した課題のいずれかを解決する入力システム、情報処理装置、制御方法、及びプログラムを提供することにある。
一態様による入力システムは、
情報処理装置と、
前記情報処理装置の画面を表示する表示装置と、
前記画面の表示領域の四隅のいずれかに設置された超音波センサと、を備え、
前記超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定し、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する。
情報処理装置と、
前記情報処理装置の画面を表示する表示装置と、
前記画面の表示領域の四隅のいずれかに設置された超音波センサと、を備え、
前記超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定し、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する。
一態様による情報処理装置は、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信し、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定部と、
前記接触物について特定された座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定部と、を備える。
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信し、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定部と、
前記接触物について特定された座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定部と、を備える。
一態様による制御方法は、
情報処理装置の制御方法であって、
前記情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信ステップと、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定ステップと、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定ステップと、を含む。
情報処理装置の制御方法であって、
前記情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信ステップと、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定ステップと、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定ステップと、を含む。
一態様によるプログラムは、
コンピュータに、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信手順と、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定手順と、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定手順と、
を実行させるためのプログラムである。
コンピュータに、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信手順と、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定手順と、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定手順と、
を実行させるためのプログラムである。
上述の態様によれば、上述した課題のいずれかの解決に寄与し得る入力システム、情報処理装置、制御方法、及びプログラムを提供できるという効果が得られる。
以下、図面を参照して本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
（１）実施の形態１
＜実施の形態１の構成＞
図１は、本実施の形態１に係る入力システムの構成の一例を示す図である。
図１に示されるように、本実施の形態１に係る入力システムは、超音波センサ１と、モニタ２と、情報処理装置３と、ケーブル４と、を備えている。
本実施の形態１に係る入力システムは、タッチパネル機能を備えていないモニタ２をタッチパネル化するもの、すなわち、モニタ２が表示する画面に指、指し棒等の接触物を接触させることにより情報処理装置３への入力操作を可能とするものである。以下では、入力操作に用いる接触物が、指ｆであるものとして説明する。
＜実施の形態１の構成＞
図１は、本実施の形態１に係る入力システムの構成の一例を示す図である。
図１に示されるように、本実施の形態１に係る入力システムは、超音波センサ１と、モニタ２と、情報処理装置３と、ケーブル４と、を備えている。
本実施の形態１に係る入力システムは、タッチパネル機能を備えていないモニタ２をタッチパネル化するもの、すなわち、モニタ２が表示する画面に指、指し棒等の接触物を接触させることにより情報処理装置３への入力操作を可能とするものである。以下では、入力操作に用いる接触物が、指ｆであるものとして説明する。
情報処理装置３は、指ｆによる入力操作に応じて情報処理を行う装置であり、例えば、ＰＣ（Personal Computer）、サーバ、パネルコンピューター等である。
ケーブル４は、モニタ２と情報処理装置３とを有線接続し、情報処理装置３の画面をモニタ２に伝送する映像出力ケーブルであり、例えば、ＨＤＭＩ（High-Definition Multimedia Interface。登録商標）ケーブル、ＤＶＩ（Digital Visual Interface）ケーブル等である。
ケーブル４は、モニタ２と情報処理装置３とを有線接続し、情報処理装置３の画面をモニタ２に伝送する映像出力ケーブルであり、例えば、ＨＤＭＩ（High-Definition Multimedia Interface。登録商標）ケーブル、ＤＶＩ（Digital Visual Interface）ケーブル等である。
モニタ２は、タッチパネル機能を備えていないモニタであり、例えば、ＬＣＤ（Liquid Crystal Display）モニタ等である。モニタ２は、表示装置の一例である。モニタ２は、情報処理装置３の画面を、ケーブル４を介して受信し、表示する。なお、モニタ２は、情報処理装置３と無線接続し、情報処理装置３の画面を無線で受信しても良い。この構成の場合、ケーブル４は不要になる。
超音波センサ１は、超音波を発信及び受信する機能を備えた小型のセンサ装置であり、モニタ２における画面の表示領域の四隅のいずれかに設置される。図１においては、超音波センサ１は、左上の隅に設置されている。
超音波センサ１は、モニタ２に表示されている画面上に、画面に略平行に超音波を発信する。すなわち、超音波センサ１は、画面に略平行に平面状に超音波を発信する。超音波センサ１から発信された超音波は、画面に接触している指ｆで反射し、反射した超音波が超音波センサ１で受信される。超音波センサ１は、受信した超音波の強度及び角度を示す超音波受信情報を情報処理装置３に送信する。なお、図１においては、超音波受信情報は、超音波センサ１から情報処理装置３へ、無線で送信しているが、不図示のケーブルを介して有線で送信しても良い。
情報処理装置３は、超音波センサ１から受信した超音波受信情報を基に、指ｆが接触した画面上の接触位置の座標を特定し、さらに、特定した座標を基に、指ｆによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作等）を特定する。
従って、ユーザは、モニタ２に表示されている画面に指ｆを接触させることにより、情報処理装置３への入力操作が可能となる。そのため、モニタ２をタッチパネル化することが可能となる。
図２は、本実施の形態１に係る超音波センサ１及び情報処理装置３の機能ブロック構成の一例を示すブロック図である。なお、図２においては、超音波センサ１及び情報処理装置３の機能ブロックとして、モニタ２のタッチパネル化に係る機能ブロックのみを抜粋して図示しており、その他の機能ブロックの図示は省略している。
図２に示されるように、超音波センサ１は、超音波管理部１１と、超音波発信器１２と、超音波受信器１３と、を備えている。また、情報処理装置３は、モニタ情報処理部３１と、座標特定部３２と、操作内容特定部３３と、を備えている。
モニタ情報処理部３１は、ユーザにより、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報が入力される。
センサ設置位置情報は、モニタ２における画面の表示領域の四隅のうちどの隅に超音波センサ１が設置されているかを示す情報である。ユーザは、センサ設置位置情報として、例えば、「左上」、「左下」、「右上」、「右下」のいずれかを選択入力する。
モニタサイズ情報は、モニタ２における画面の表示領域のサイズを示す情報である。ユーザは、モニタサイズ情報として、例えば、縦横のサイズを直接入力するか、一般的なモニタにおける画面の表示領域のサイズの中から選択入力する。
センサ設置位置補正情報は、センサ設置位置情報が示す超音波センサ１の設置位置を補正するための情報である。センサ設置位置情報は、超音波センサ１の設置位置を、モニタ２における画面の表示領域の四隅のいずれかとして示す情報である。これに対して、センサ設置位置補正情報は、センサ設置位置情報が示す隅において、画面の角部と超音波センサ１の設置位置との間の上下方向及び左右方向の距離を示す情報である。センサ設置位置情報が示す超音波センサ１の設置位置を、センサ設置位置補正情報を用いて補正することにより、超音波センサ１の設置位置をより高い精度で特定することができる。
モニタ情報処理部３１は、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を、超音波センサ１の超音波管理部１１に送信すると共に、情報処理装置３の座標特定部３２に出力する。
超音波管理部１１は、情報処理装置３のモニタ情報処理部３１から受信したセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する。
図３は、モニタ２をタッチパネル化する際の超音波の有効範囲の特定方法の一例を示す図である。
図３に示されるように、モニタ２における画面の表示領域の左上に超音波センサ１を設置したとする。この場合、センサ設置位置情報は「左上」を示している。そのため、超音波管理部１１は、センサ設置位置情報及びセンサ設置位置補正情報を基に、モニタ２における画面の表示領域の左上に設置された超音波センサ１の設置位置を特定する。そして、超音波管理部１１は、超音波センサ１の設置位置の右下９０度の範囲であって、モニタサイズ情報が示すモニタサイズに応じた範囲を、有効範囲Ｒ１として特定する。
図３に示されるように、モニタ２における画面の表示領域の左上に超音波センサ１を設置したとする。この場合、センサ設置位置情報は「左上」を示している。そのため、超音波管理部１１は、センサ設置位置情報及びセンサ設置位置補正情報を基に、モニタ２における画面の表示領域の左上に設置された超音波センサ１の設置位置を特定する。そして、超音波管理部１１は、超音波センサ１の設置位置の右下９０度の範囲であって、モニタサイズ情報が示すモニタサイズに応じた範囲を、有効範囲Ｒ１として特定する。
また、超音波管理部１１は、有効範囲に超音波を発信するように、超音波発信器１２から発信する超音波の強度及び角度を調整する。また、超音波管理部１１は、有効範囲から超音波を受信するように、超音波受信器１３が受信する超音波の強度及び角度を調整する。図３の例においては、超音波発信器１２による超音波の発信範囲及び超音波受信器１３による超音波の受信範囲は、範囲Ｒ２となるように調整される。
超音波発信器１２は、モニタ２に表示されている画面上の有効範囲内に、画面に略平行に超音波を発信する。超音波受信器１３は、超音波発信器１２から発信されて、有効範囲内にある指ｆで反射された超音波を受信する。
超音波管理部１１は、超音波受信器１３で受信された超音波の強度及び角度を示す超音波受信情報を、情報処理装置３の座標特定部３２に送信する。なお、超音波受信器１３が同時に複数の超音波を受信した場合（例えば、複数の指ｆで画面に接触した場合）、超音波管理部１１は、複数の超音波の各々の超音波受信情報を送信する。
座標特定部３２は、モニタ情報処理部３１から入力されたセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する。なお、超音波センサ１の設置位置及び超音波の有効範囲の特定方法は、超音波管理部１１で説明したものと同様である。
また、座標特定部３２は、超音波センサ１の超音波管理部１１から受信した超音波受信情報を基に、指ｆが接触した画面上の接触位置の座標を特定する。なお、座標特定部３２は、超音波管理部１１から複数の超音波受信情報を受信した場合、複数の超音波受信情報の中から強度が最も高い超音波受信情報（すなわち、超音波センサ１から最も近い位置で反射した超音波に係る超音波受信情報）を選択する。そして、座標特定部３２は、選択した超音波受信情報を基に、指ｆが接触した画面上の接触位置の座標を特定する。
操作内容特定部３３は、座標特定部３２で指ｆについて特定された座標を基に、指ｆによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作等）を特定する。
＜実施の形態１の動作＞
以下、本実施の形態１に係る入力システムの動作について説明する。
図４は、本実施の形態１に係る超音波センサ１の処理フローの一例を示すフロー図である。
図４に示されるように、超音波管理部１１は、情報処理装置３のモニタ情報処理部３１から、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を受信する（ステップＳ１０１）。
以下、本実施の形態１に係る入力システムの動作について説明する。
図４は、本実施の形態１に係る超音波センサ１の処理フローの一例を示すフロー図である。
図４に示されるように、超音波管理部１１は、情報処理装置３のモニタ情報処理部３１から、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を受信する（ステップＳ１０１）。
続いて、超音波管理部１１は、ステップＳ１０１で受信したセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する（ステップＳ１０２）。
続いて、超音波管理部１１は、ステップＳ１０２で特定した有効範囲を基に、超音波発信器１２による超音波の発信範囲及び超音波受信器１３による超音波の受信範囲を調整する（ステップＳ１０３）。
続いて、超音波発信器１２は、モニタ２に表示されている画面上に、画面に略平行に超音波を発信する（ステップＳ１０４）。
以降、超音波管理部１１は、超音波受信器１３が、超音波発信器１２から発信されて、指ｆで反射された超音波を受信したか否かを判断する（ステップＳ１０５）。
以降、超音波管理部１１は、超音波受信器１３が、超音波発信器１２から発信されて、指ｆで反射された超音波を受信したか否かを判断する（ステップＳ１０５）。
超音波受信器１３が超音波を受信した場合（ステップＳ１０５のＹｅｓ）、超音波管理部１１は、超音波受信器１３で受信された超音波の強度及び角度を示す超音波受信情報を、情報処理装置３の座標特定部３２に送信する（ステップＳ１０６）。その後、ステップＳ１０５に戻る。なお、ステップＳ１０５において、超音波受信器１３が同時に複数の超音波を受信した場合（例えば、複数の指ｆで画面に接触した場合）、超音波管理部１１は、複数の超音波の各々の超音波受信情報を送信する。
図５は、本実施の形態１に係る情報処理装置３の処理フローの一例を示すフロー図である。
図５に示されるように、モニタ情報処理部３１は、超音波センサ１の超音波管理部１１へ、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を送信する（ステップＳ２０１）。このとき、モニタ情報処理部３１は、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を、座標特定部３２にも出力する。
図５に示されるように、モニタ情報処理部３１は、超音波センサ１の超音波管理部１１へ、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を送信する（ステップＳ２０１）。このとき、モニタ情報処理部３１は、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を、座標特定部３２にも出力する。
続いて、座標特定部３２は、モニタ情報処理部３１から入力されたセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する（ステップＳ２０２）。
以降、座標特定部３２は、超音波センサ１の超音波管理部１１から、超音波受信情報を受信したか否かを判断する（ステップＳ２０３）。
超音波センサ１の超音波管理部１１から超音波受信情報を受信した場合（ステップＳ２０３のＹｅｓ）、座標特定部３２は、ステップＳ２０３で受信した超音波受信情報が複数であるか否かを判断する（ステップＳ２０４）。
超音波センサ１の超音波管理部１１から超音波受信情報を受信した場合（ステップＳ２０３のＹｅｓ）、座標特定部３２は、ステップＳ２０３で受信した超音波受信情報が複数であるか否かを判断する（ステップＳ２０４）。
ステップＳ２０３で受信した超音波受信情報が複数でない場合（ステップＳ２０４のＮｏ）、座標特定部３２は、ステップＳ２０３で受信した超音波受信情報を基に、指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ２０６）。
一方、ステップＳ２０３で受信した超音波受信情報が複数である場合（ステップＳ２０４のＹｅｓ）、座標特定部３２は、ステップＳ２０３で受信した複数の超音波受信情報の中から強度が最も高い超音波受信情報を選択する（ステップＳ２０５）。そして、座標特定部３２は、ステップＳ２０５で選択した超音波受信情報を基に、指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ２０６）。
その後、操作内容特定部３３は、ステップＳ２０６で指ｆについて特定された座標を基に、指ｆによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作等）を特定する（ステップＳ２０７）。その後、ステップＳ２０３に戻る。
なお、ステップＳ２０７において、操作内容特定部３３は、ステップＳ２０６で指ｆについて特定された１つの座標だけでは操作内容を特定することができない場合が多いと考えられる。そのため、操作内容特定部３３で操作内容を特定できない場合は、ステップＳ２０７をスルーしてステップＳ２０３に戻り、ステップＳ２０６が複数回実行されて、操作内容を特定できるようになった後に、ステップＳ２０７において、操作内容特定部３３が操作内容を特定しても良い。
＜実施の形態１の効果＞
上述のように本実施の形態１によれば、モニタ２における画面の表示領域の四隅のいずれかに超音波センサ１を設置する。超音波センサ１は、画面上に、画面に略平行に超音波を発信し、発信した超音波が画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を情報処理装置３に送信する。情報処理装置３は、超音波センサ１から受信した超音波受信情報を基に、接触物が接触した画面上の接触位置の座標を特定し、接触物について特定した座標を基に、接触物による画面に対する操作内容を特定する。
上述のように本実施の形態１によれば、モニタ２における画面の表示領域の四隅のいずれかに超音波センサ１を設置する。超音波センサ１は、画面上に、画面に略平行に超音波を発信し、発信した超音波が画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を情報処理装置３に送信する。情報処理装置３は、超音波センサ１から受信した超音波受信情報を基に、接触物が接触した画面上の接触位置の座標を特定し、接触物について特定した座標を基に、接触物による画面に対する操作内容を特定する。
従って、ユーザは、モニタ２に表示されている画面に接触物を接触させることにより、情報処理装置３への入力操作が可能となる。そのため、モニタ２をタッチパネル化することが可能となる。
また、モニタ２をタッチパネル化するに際しては、入力操作に用いる接触物は、超音波を反射する棒状のものであれば良いことから、指でも良い。そのため、本実施の形態１は、特許文献１，３，５に記載の技術とは異なり、ユーザが指で入力操作を行うことが可能となる。
また、モニタ２をタッチパネル化するに際しては、モニタ２における画面の表示領域の四隅のいずれかに超音波センサ１を設置すれば良い。そのため、本実施の形態１は、特許文献２に記載の技術のように、モニタサイズの制限を受けることがない。
また、モニタ２をタッチパネル化するに際しては、１つの超音波センサ１が必要なだけである。そのため、本実施の形態１は、３つ以上の超音波センサが必要な特許文献４に記載の技術と比較して、コスト面で有利となる。
また、情報処理装置３内の各機能ブロックは、後述のように、プロセッサによりメモリから読み出されて実行されるプログラムによって実現することが可能である。そのため、このプログラムをインストールすれば、既存の情報処理装置３であっても、モニタ２をタッチパネル化して利用することができる。
（２）実施の形態２
＜実施の形態２の構成＞
図６は、本実施の形態２に係る入力システムの構成の一例を示す図である。
図６に示されるように、本実施の形態２に係る入力システムは、２個の超音波センサ１，５を使用する点が、１個の超音波センサ１を使用する実施の形態１とは異なる。
＜実施の形態２の構成＞
図６は、本実施の形態２に係る入力システムの構成の一例を示す図である。
図６に示されるように、本実施の形態２に係る入力システムは、２個の超音波センサ１，５を使用する点が、１個の超音波センサ１を使用する実施の形態１とは異なる。
超音波センサ５は、超音波センサ１と同様の機能を備えた小型のセンサ装置である。超音波センサ５は、モニタ２における画面の表示領域の四隅のうち超音波センサ１を設置した隅の対角となる隅に設置される。図６においては、超音波センサ１は、左上の隅に設置され、超音波センサ１は、左上の隅の対角となる右下の隅に設置されている。
ここで、超音波センサ５は、超音波センサ１の超音波とは周波数帯域が異なる超音波を発信及び受信する。そのため、超音波センサ１の超音波と超音波センサ５の超音波とは区別可能とされている。従って、超音波センサ１は、超音波センサ５から発信された超音波を受信せず、超音波センサ１が発信し接触物で反射した超音波のみを受信することができる。同様に、超音波センサ５は、超音波センサ１から発信された超音波を受信せず、超音波センサ５が発信し接触物で反射した超音波のみを受信することができる。
本実施の形態２は、２個の超音波センサ１，５を使用することにより、２つの接触物による情報処理装置３への入力操作を可能とするものである。以下では、入力操作に用いる接触物が、指ｆであるものとして説明する。図６においては、指ｆの例として、指ｆ１，ｆ２が示されている。
例えば、実施の形態１のように１個の超音波センサ１を使用するときに、超音波センサ１と２本の指ｆが直線上に並んだとする。この場合、超音波センサ１から遠い方の指ｆは、超音波センサ１から近い方の指ｆのせいで、超音波センサ１から超音波が届かず超音波を反射できないため、接触位置の座標を特定することができないという問題がある。
そこで、本実施の形態２は、対角に２個の超音波センサ１，５を設置している。そのため、超音波センサ１と２本の指ｆが直線上に並んだ場合でも、超音波センサ１から遠い方の指は、超音波センサ５からは超音波が届き、超音波を反射できる。従って、上記の問題を回避することができる。
図７は、本実施の形態２に係る超音波センサ１，５及び情報処理装置３の機能ブロック構成の一例を示すブロック図である。なお、図７においては、超音波センサ１，５及び情報処理装置３の機能ブロックとして、モニタ２のタッチパネル化に係る機能ブロックのみを抜粋して図示しており、その他の機能ブロックの図示は省略している。
図７に示されるように、超音波センサ１は、図２と同様に、超音波管理部１１と、超音波発信器１２と、超音波受信器１３と、を備えている。また、超音波センサ５は、超音波管理部５１と、超音波発信器５２と、超音波受信器５３と、を備えている。また、情報処理装置３は、図２と同様に、モニタ情報処理部３１と、座標特定部３２と、操作内容特定部３３と、を備える他、座標特定部３４を備えている。
モニタ情報処理部３１は、ユーザにより、超音波センサ１，５に係るセンサ設置位置情報、モニタ２に係るモニタサイズ情報、及び、超音波センサ１，５に係るセンサ設置位置補正情報が入力される。なお、センサ設置位置情報、モニタサイズ情報、及び、センサ設置位置補正情報は、実施の形態１で説明したものと同様である。
モニタ情報処理部３１は、超音波センサ１に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１に係るセンサ設置位置補正情報を、超音波センサ１の超音波管理部１１に送信する。また、モニタ情報処理部３１は、超音波センサ５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ５に係るセンサ設置位置補正情報を、超音波センサ５の超音波管理部５１に送信する。また、モニタ情報処理部３１は、超音波センサ１，５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１，５に係るセンサ設置位置補正情報を、情報処理装置３の座標特定部３２，３４に出力する。
超音波管理部１１は、情報処理装置３のモニタ情報処理部３１から受信したセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する。なお、超音波センサ１の設置位置及び超音波の有効範囲の特定方法は、実施の形態１で説明したものと同様である。
また、超音波管理部１１は、有効範囲に超音波を発信するように、超音波発信器１２から発信する超音波の強度及び角度を調整する。また、超音波管理部１１は、有効範囲から超音波を受信するように、超音波受信器１３が受信する超音波の強度及び角度を調整する。
超音波発信器１２は、モニタ２に表示されている画面上の有効範囲内に、画面に略平行に超音波を発信する。超音波受信器１３は、超音波発信器１２から発信されて、有効範囲内にある指ｆで反射された超音波を受信する。
超音波管理部１１は、超音波受信器１３で受信された超音波の強度及び角度を示す超音波受信情報を、情報処理装置３の座標特定部３２に送信する。なお、超音波受信器１３が同時に複数の超音波を受信した場合（例えば、複数の指ｆで画面に接触した場合）、超音波管理部１１は、複数の超音波の各々の超音波受信情報を送信する。
図６の例においては、超音波センサ１は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波を受信する。そのため、超音波管理部１１は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波に係る２つの超音波受信情報を送信する。
超音波管理部５１は、情報処理装置３のモニタ情報処理部３１から受信したセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ５の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する。なお、超音波センサ５の設置位置及び超音波の有効範囲の特定方法は、実施の形態１で説明したものと同様である。
また、超音波管理部５１は、有効範囲に超音波を発信するように、超音波発信器５２から発信する超音波の強度及び角度を調整する。また、超音波管理部５１は、有効範囲から超音波を受信するように、超音波受信器５３が受信する超音波の強度及び角度を調整する。
超音波発信器５２は、モニタ２に表示されている画面上の有効範囲内に、画面に略平行に超音波を発信する。超音波受信器５３は、超音波発信器５２から発信されて、有効範囲内にある指ｆで反射された超音波を受信する。
超音波管理部５１は、超音波受信器５３で受信された超音波の強度及び角度を示す超音波受信情報を、情報処理装置３の座標特定部３４に送信する。なお、超音波受信器５３が同時に複数の超音波を受信した場合（例えば、複数の指ｆで画面に接触した場合）、超音波管理部５１は、複数の超音波の各々の超音波受信情報を送信する。
図６の例においては、超音波センサ５は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波を受信する。そのため、超音波管理部５１は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波に係る２つの超音波受信情報を送信する。
座標特定部３２，３４は、モニタ情報処理部３１から入力されたセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１，５の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する。なお、超音波センサ１，５の設置位置及び超音波の有効範囲の特定方法は、実施の形態１で説明したものと同様である。
座標特定部３２は、超音波センサ１の超音波管理部１１から受信した超音波受信情報を基に、第１の指ｆが接触した画面上の接触位置の座標を特定する。なお、座標特定部３２は、超音波管理部１１から複数の超音波受信情報を受信した場合、複数の超音波受信情報の中から強度が最も高い超音波受信情報（すなわち、超音波センサ１から最も近い位置で反射した超音波に係る超音波受信情報）を選択する。そして、座標特定部３２は、選択した超音波受信情報を基に、第１の指ｆが接触した画面上の接触位置の座標を特定する。
図６の例においては、超音波センサ１は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波を受信するが、超音波センサ１から最も近い指ｆは指ｆ１であり、指ｆ１で反射した超音波の強度が最も高い。そのため、座標特定部３２は、第１の指ｆとして指ｆ１の接触位置の座標を特定する。
座標特定部３４は、超音波センサ５の超音波管理部５１から受信した超音波受信情報を基に、第２の指ｆが接触した画面上の接触位置の座標を特定する。なお、座標特定部３４は、超音波管理部５１から複数の超音波受信情報を受信した場合、複数の超音波受信情報の中から強度が最も高い超音波受信情報（すなわち、超音波センサ５から最も近い位置で反射した超音波に係る超音波受信情報）を選択する。そして、座標特定部３４は、選択した超音波受信情報を基に、第２の指ｆが接触した画面上の接触位置の座標を特定する。
図６の例においては、超音波センサ５は、２本の指ｆ１，ｆ２でそれぞれ反射した超音波を受信するが、超音波センサ５から最も近い指ｆは指ｆ２であり、指ｆ２で反射した超音波の強度が最も高い。そのため、座標特定部３４は、第２の指ｆとして指ｆ２の接触位置の座標を特定する。
操作内容特定部３３は、座標特定部３２で第１の指ｆについて特定された座標と、座標特定部３４で第２の指ｆについて特定された座標と、を基に、第１の指ｆ及び第２の指ｆの少なくとも１つによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作、ピンチイン・ピンチアウト操作、画面スクロール操作等）を特定する。
このとき、操作内容特定部３３は、座標特定部３２で第１の指ｆについて特定された座標と、座標特定部３４で第２の指ｆについて特定された座標と、の間の距離が閾値以上である場合、第１の指ｆと第２の指ｆとは異なるものであると判断する。そして、操作内容特定部３３は、座標特定部３２で第１の指ｆについて特定された座標と、座標特定部３４で第２の指ｆについて特定された座標と、を基に、第１の指ｆ及び第２の指ｆによる画面に対する操作内容（例えば、ピンチイン・ピンチアウト操作、画面スクロール操作等）を特定する。
また、操作内容特定部３３は、座標特定部３２で第１の指ｆについて特定された座標と、座標特定部３４で第２の指ｆについて特定された座標と、の間の距離が閾値未満である場合、第１の指ｆと第２の指ｆとは同じもの（例えば、同じ指ｆの表と裏）であると判断する。そして、操作内容特定部３３は、座標特定部３２で第１の指ｆについて特定された座標を選択し、選択した座標を基に、第１の指ｆによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作等）を特定する。
＜実施の形態２の動作＞
以下、本実施の形態２に係る入力システムの動作について説明する。なお、超音波センサ１，５の処理フローは、図４で説明した実施の形態１の処理フローと同様であるため、以下では、情報処理装置３の処理フローについてのみ説明する。
以下、本実施の形態２に係る入力システムの動作について説明する。なお、超音波センサ１，５の処理フローは、図４で説明した実施の形態１の処理フローと同様であるため、以下では、情報処理装置３の処理フローについてのみ説明する。
図８は、本実施の形態２に係る情報処理装置３の処理フローの一例を示すフロー図である。
図８に示されるように、モニタ情報処理部３１は、超音波センサ１に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１に係るセンサ設置位置補正情報を、超音波センサ１の超音波管理部１１に送信すると共に、超音波センサ５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ５に係るセンサ設置位置補正情報を、超音波センサ５の超音波管理部５１に送信する（ステップＳ３０１）。このとき、モニタ情報処理部３１は、超音波センサ１，５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１，５に係るセンサ設置位置補正情報を、座標特定部３２，３４にも出力する。
図８に示されるように、モニタ情報処理部３１は、超音波センサ１に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１に係るセンサ設置位置補正情報を、超音波センサ１の超音波管理部１１に送信すると共に、超音波センサ５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ５に係るセンサ設置位置補正情報を、超音波センサ５の超音波管理部５１に送信する（ステップＳ３０１）。このとき、モニタ情報処理部３１は、超音波センサ１，５に係るセンサ設置位置情報、モニタサイズ情報、及び、超音波センサ１，５に係るセンサ設置位置補正情報を、座標特定部３２，３４にも出力する。
続いて、座標特定部３２，３４は、モニタ情報処理部３１から入力されたセンサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を基に、超音波センサ１，５の設置位置を特定すると共に、モニタ２をタッチパネル化する際の超音波の有効範囲を特定する（ステップＳ３０２）。
以降、座標特定部３２は、超音波センサ１の超音波管理部１１から、超音波受信情報を受信したか否かを判断する（ステップＳ３０３）。また、座標特定部３４は、超音波センサ５の超音波管理部５１から、超音波受信情報を受信したか否かを判断する（ステップＳ３０７）。
座標特定部３２は、超音波センサ１の超音波管理部１１から超音波受信情報を受信した場合（ステップＳ３０３のＹｅｓ）、ステップＳ３０３で受信した超音波受信情報が複数であるか否かを判断する（ステップＳ３０４）。
ステップＳ３０３で受信した超音波受信情報が複数でない場合（ステップＳ３０４のＮｏ）、座標特定部３２は、ステップＳ３０３で受信した超音波受信情報を基に、第１の指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ３０６）。
一方、ステップＳ３０３で受信した超音波受信情報が複数である場合（ステップＳ３０４のＹｅｓ）、座標特定部３２は、ステップＳ３０３で受信した複数の超音波受信情報の中から強度が最も高い超音波受信情報を選択する（ステップＳ３０５）。そして、座標特定部３２は、ステップＳ３０５で選択した超音波受信情報を基に、第１の指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ３０６）。
また、座標特定部３４は、超音波センサ５の超音波管理部５１から超音波受信情報を受信した場合（ステップＳ３０７のＹｅｓ）、ステップＳ３０７で受信した超音波受信情報が複数であるか否かを判断する（ステップＳ３０８）。
ステップＳ３０７で受信した超音波受信情報が複数でない場合（ステップＳ３０８のＮｏ）、座標特定部３４は、ステップＳ３０７で受信した超音波受信情報を基に、第２の指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ３１０）。
一方、ステップＳ３０７で受信した超音波受信情報が複数である場合（ステップＳ３０８のＹｅｓ）、座標特定部３４は、ステップＳ３０７で受信した複数の超音波受信情報の中から強度が最も高い超音波受信情報を選択する（ステップＳ３０９）。そして、座標特定部３４は、ステップＳ３０９で選択した超音波受信情報を基に、第２の指ｆが接触した画面上の接触位置の座標を特定する（ステップＳ３１０）。
続いて、操作内容特定部３３は、ステップＳ３０６で第１の指ｆについて特定された座標と、ステップＳ３１０で第２の指ｆについて特定された座標と、の間の距離が閾値以上であるか否かを判断する（ステップＳ３１１）。
座標間の距離が閾値以上である場合（ステップＳ３１１のＹｅｓ）、操作内容特定部３３は、第１の指ｆと第２の指ｆとは異なるものであると判断し、ステップＳ３０６で第１の指ｆについて特定された座標と、ステップＳ３１０で第２の指ｆについて特定された座標と、を基に、第１の指ｆ及び第２の指ｆによる画面に対する操作内容（例えば、ピンチイン・ピンチアウト操作、画面スクロール操作等）を特定する（ステップＳ３１２）。その後、ステップＳ３０３，Ｓ３０７に戻る。
一方、座標間の距離が閾値未満である場合（ステップＳ３１１のＮｏ）、操作内容特定部３３は、第１の指ｆと第２の指ｆとは同じもの（例えば、同じ指ｆの表と裏）であると判断し、ステップＳ３０６で第１の指ｆについて特定された座標を基に、第１の指ｆによる画面に対する操作内容（例えば、クリック操作、ドラッグ操作等）を特定する（ステップＳ３１３）。その後、ステップＳ３０３，Ｓ３０７に戻る。
なお、ステップＳ３１２，Ｓ３１３において、操作内容特定部３３は、ステップＳ３０６で第１の指ｆについて特定された１つの座標とステップＳ３１０で第２の指ｆについて特定された１つの座標だけでは操作内容を特定することができない場合が多いと考えられる。そのため、操作内容特定部３３で操作内容を特定できない場合は、ステップＳ３１２，Ｓ３１３をスルーしてステップＳ３０３，Ｓ３０７に戻り、ステップＳ３０６，Ｓ３１０が複数回実行されて、操作内容を特定できるようになった後に、ステップＳ３１２，Ｓ３１３において、操作内容特定部３３が操作内容を特定しても良い。
＜実施の形態２の効果＞
上述のように本実施の形態２によれば、超音波センサ１と同様の機能を備える超音波センサ５を、モニタ２における画面の表示領域の四隅のうち超音波センサ１とは対角の隅に設置する。情報処理装置３は、超音波センサ１から受信した超音波受信情報を基に、第１の接触物が接触した画面上の接触位置の座標を特定し、超音波センサ５から受信した超音波受信情報を基に、第２の接触物が接触した画面上の接触位置の座標を特定し、第１の接触物について特定した座標と、第２の接触物について特定した座標と、を基に、第１の接触物及び第２の接触物の少なくとも１つによる画面に対する操作内容を特定する。
上述のように本実施の形態２によれば、超音波センサ１と同様の機能を備える超音波センサ５を、モニタ２における画面の表示領域の四隅のうち超音波センサ１とは対角の隅に設置する。情報処理装置３は、超音波センサ１から受信した超音波受信情報を基に、第１の接触物が接触した画面上の接触位置の座標を特定し、超音波センサ５から受信した超音波受信情報を基に、第２の接触物が接触した画面上の接触位置の座標を特定し、第１の接触物について特定した座標と、第２の接触物について特定した座標と、を基に、第１の接触物及び第２の接触物の少なくとも１つによる画面に対する操作内容を特定する。
従って、ユーザは、モニタ２に表示されている画面に１つ又は２つの接触物を接触させて、情報処理装置３への入力操作を行うことが可能となる。そのため、例えば、１つの指による入力操作（例えば、クリック操作、ドラッグ操作等）だけでなく、２つの指による入力操作（例えば、ピンチイン・ピンチアウト操作、画面スクロール操作等）を行うことも可能になる。
その他の効果は、実施の形態１と同様である。
その他の効果は、実施の形態１と同様である。
（３）他の実施の形態
実施の形態１，２は、モニタをタッチパネル化していたが、タッチパネル化する対象はモニタに限定されない。
本発明は、超音波センサを配置し、超音波センサから、画面上に画面に略平行に超音波を発信及び受信するものである。そのため、モニタだけでなく、「スクリーン」や「空中」もタッチパネル化することが可能である。
実施の形態１，２は、モニタをタッチパネル化していたが、タッチパネル化する対象はモニタに限定されない。
本発明は、超音波センサを配置し、超音波センサから、画面上に画面に略平行に超音波を発信及び受信するものである。そのため、モニタだけでなく、「スクリーン」や「空中」もタッチパネル化することが可能である。
＜変形例１＞
図９は、実施の形態２に係る入力システムの変形例１の構成の一例を示す図である。
図９の例においては、スクリーン７には、プロジェクタ６により情報処理装置３の画面が投影表示される。プロジェクタ６は、表示装置の一例である。そして、スクリーン７における画面の表示領域の対角となる隅に超音波センサ１，５をそれぞれ設置する。これにより、スクリーン７がタッチパネル化され、ユーザは、スクリーン７に投影表示されている画面に接触物を接触させることにより、情報処理装置３への入力操作が可能となる。なお、スクリーン７は、画面が投影されていなくても、タッチパネル化されている。
図９は、実施の形態２に係る入力システムの変形例１の構成の一例を示す図である。
図９の例においては、スクリーン７には、プロジェクタ６により情報処理装置３の画面が投影表示される。プロジェクタ６は、表示装置の一例である。そして、スクリーン７における画面の表示領域の対角となる隅に超音波センサ１，５をそれぞれ設置する。これにより、スクリーン７がタッチパネル化され、ユーザは、スクリーン７に投影表示されている画面に接触物を接触させることにより、情報処理装置３への入力操作が可能となる。なお、スクリーン７は、画面が投影されていなくても、タッチパネル化されている。
＜変形例２＞
図１０は、実施の形態２に係る入力システムの変形例２の構成の一例を示す図である。
図１０の例においては、空中には、ホログラフィプロジェクタ８により情報処理装置３の画面がホログラフィ画面Ｈとして投影表示される。ホログラフィプロジェクタ８は、表示装置の一例である。そして、ホログラフィ画面Ｈが投影表示される予定の表示領域の対角となる隅に超音波センサ１，５をそれぞれ設置する。これにより、空中のホログラフィ画面Ｈの表示領域がタッチパネル化され、ユーザは、空中に投影表示されているホログラフィ画面Ｈに接触物を接触させることにより、情報処理装置３への入力操作が可能となる。
図１０は、実施の形態２に係る入力システムの変形例２の構成の一例を示す図である。
図１０の例においては、空中には、ホログラフィプロジェクタ８により情報処理装置３の画面がホログラフィ画面Ｈとして投影表示される。ホログラフィプロジェクタ８は、表示装置の一例である。そして、ホログラフィ画面Ｈが投影表示される予定の表示領域の対角となる隅に超音波センサ１，５をそれぞれ設置する。これにより、空中のホログラフィ画面Ｈの表示領域がタッチパネル化され、ユーザは、空中に投影表示されているホログラフィ画面Ｈに接触物を接触させることにより、情報処理装置３への入力操作が可能となる。
その他にも、机等をタッチパネル化することが考えられる。この場合、机等の上に、モニタ等に表示される情報処理装置の画面の表示領域と同サイズの領域を確保し、確保した領域の四隅のいずれかに超音波センサを設置する。これにより、机等がタッチパネル化され、ユーザは、机等の上に接触物を接触させることにより、情報処理装置への入力操作が可能となる。
なお、本開示は上記の実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記の実施の形態においては、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を用いて、モニタをタッチパネル化する際の超音波の有効範囲を特定していたが、ズレ防止等のために、有効範囲をさらに調整しても良い。例えば、超音波センサの設置位置から画面上の一番近い場所（例えば、図１の例では画面左上）と一番遠い場所（例えば、図１の例では画面右下）とをユーザにタッチさせることで、有効範囲を調整することが考えられる。
例えば、上記の実施の形態においては、センサ設置位置情報、モニタサイズ情報、及びセンサ設置位置補正情報を用いて、モニタをタッチパネル化する際の超音波の有効範囲を特定していたが、ズレ防止等のために、有効範囲をさらに調整しても良い。例えば、超音波センサの設置位置から画面上の一番近い場所（例えば、図１の例では画面左上）と一番遠い場所（例えば、図１の例では画面右下）とをユーザにタッチさせることで、有効範囲を調整することが考えられる。
また、上記の実施の形態においては、情報処理装置から超音波センサに対し、センサ設置位置補正情報も送信し、超音波センサにおける超音波の有効範囲の特定にセンサ設置位置補正情報を使用していた。情報処理装置は、接触物の接触位置の座標を高精度に特定するために、有効範囲を高精度に特定する必要がある。これに対して、超音波センサは、超音波の発信範囲及び受信範囲を調整するために、有効範囲を特定するが、超音波の発信範囲及び受信範囲にはそれほどの精度は要求されない。そのため、情報処理装置から超音波センサに対し、センサ設置位置補正情報を送信せず、超音波センサは、センサ設置位置情報及びモニタサイズ情報のみを用いて、有効範囲を特定しても良い。
また、上記の実施の形態において、情報処理装置内の各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）等のプロセッサ、メモリ、その他の回路で実現することができ、ソフトウェア的には、プロセッサによりメモリから読み出されて実行されるプログラム等によって実現することができる。したがって、これらの各機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
情報処理装置と、
前記情報処理装置の画面を表示する表示装置と、
前記画面の表示領域の四隅のいずれかに設置された超音波センサと、を備え、
前記超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定し、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する、
入力システム。
（付記２）
前記情報処理装置は、
前記超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する、
付記１に記載の入力システム。
（付記３）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサをさらに備え、
前記第２の超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している前記接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定し、
前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記１に記載の入力システム。
（付記４）
前記情報処理装置は、
前記超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第２の接触物が接触した画面上の接触位置の座標を特定する、
付記３に記載の入力システム。
（付記５）
前記情報処理装置は、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
付記３又は４に記載の入力システム。
（付記６）
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信し、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定部と、
前記接触物について特定された座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定部と、を備える、
情報処理装置。
（付記７）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信し、前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定部をさらに備え、
前記座標特定部は、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定部は、前記第１の接触物について特定された座標と、前記第２の接触物について特定された座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記６に記載の情報処理装置。
（付記８）
情報処理装置の制御方法であって、
前記情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信ステップと、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定ステップと、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定ステップと、を含む、
制御方法。
（付記９）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信ステップと、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定ステップと、をさらに含み、
前記座標特定ステップでは、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定ステップでは、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記８に記載の制御方法。
（付記１０）
コンピュータに、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信手順と、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定手順と、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定手順と、
を実行させるためのプログラム。
（付記１１）
前記コンピュータに、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信手順と、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定手順と、をさらに実行させ、
前記座標特定手順では、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定手順では、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記１０に記載のプログラム。
（付記１）
情報処理装置と、
前記情報処理装置の画面を表示する表示装置と、
前記画面の表示領域の四隅のいずれかに設置された超音波センサと、を備え、
前記超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定し、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する、
入力システム。
（付記２）
前記情報処理装置は、
前記超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する、
付記１に記載の入力システム。
（付記３）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサをさらに備え、
前記第２の超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している前記接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定し、
前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記１に記載の入力システム。
（付記４）
前記情報処理装置は、
前記超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第２の接触物が接触した画面上の接触位置の座標を特定する、
付記３に記載の入力システム。
（付記５）
前記情報処理装置は、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
付記３又は４に記載の入力システム。
（付記６）
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信し、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定部と、
前記接触物について特定された座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定部と、を備える、
情報処理装置。
（付記７）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信し、前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定部をさらに備え、
前記座標特定部は、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定部は、前記第１の接触物について特定された座標と、前記第２の接触物について特定された座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記６に記載の情報処理装置。
（付記８）
情報処理装置の制御方法であって、
前記情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信ステップと、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定ステップと、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定ステップと、を含む、
制御方法。
（付記９）
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信ステップと、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定ステップと、をさらに含み、
前記座標特定ステップでは、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定ステップでは、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記８に記載の制御方法。
（付記１０）
コンピュータに、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信手順と、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物が接触した画面上の接触位置の座標を特定する座標特定手順と、
前記接触物について特定した座標を基に、前記接触物による前記画面に対する操作内容を特定する操作内容特定手順と、
を実行させるためのプログラム。
（付記１１）
前記コンピュータに、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信手順と、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定手順と、をさらに実行させ、
前記座標特定手順では、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記操作内容特定手順では、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する、
付記１０に記載のプログラム。
ｆ，ｆ１，ｆ２ 指
１ 超音波センサ
１１ 超音波管理部
１２ 超音波発信器
１３ 超音波受信器
２ モニタ
３ 情報処理装置
３１ モニタ情報処理部
３２，３４ 座標特定部
３３ 操作内容特定部
４ ケーブル
５ 超音波センサ
５１ 超音波管理部
５２ 超音波発信器
５３ 超音波受信器
６ プロジェクタ
７ スクリーン
８ ホログラフィプロジェクタ
Ｈ ホログラフィ画面
１ 超音波センサ
１１ 超音波管理部
１２ 超音波発信器
１３ 超音波受信器
２ モニタ
３ 情報処理装置
３１ モニタ情報処理部
３２，３４ 座標特定部
３３ 操作内容特定部
４ ケーブル
５ 超音波センサ
５１ 超音波管理部
５２ 超音波発信器
５３ 超音波受信器
６ プロジェクタ
７ スクリーン
８ ホログラフィプロジェクタ
Ｈ ホログラフィ画面
Claims (5)
- 情報処理装置と、
前記情報処理装置の画面を表示する表示装置と、
前記画面の表示領域の四隅のいずれかに設置された超音波センサと、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサと、を備え、
前記超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記第２の超音波センサは、
前記画面上に、前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している前記接触物で反射した超音波を受信し、受信した超音波の強度及び角度を示す超音波受信情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定し、
前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
入力システム。 - 前記情報処理装置は、
前記超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第１の接触物が接触した画面上の接触位置の座標を特定し、
前記第２の超音波センサから複数の前記超音波受信情報を受信した場合、複数の前記超音波受信情報のうち強度が最も高い前記超音波受信情報を選択し、選択した前記超音波受信情報を基に、前記第２の接触物が接触した画面上の接触位置の座標を特定する、
請求項１に記載の入力システム。 - 情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信し、前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定する座標特定部と、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信し、前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定部と、
前記第１の接触物について特定された座標と、前記第２の接触物について特定された座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する操作内容特定部と、を備え、
前記操作内容特定部は、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
情報処理装置。 - 情報処理装置の制御方法であって、
前記情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信ステップと、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信ステップと、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定する座標特定ステップと、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定ステップと、
前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する操作内容特定ステップと、を含み、
前記操作内容特定ステップでは、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
制御方法。 - コンピュータに、
情報処理装置の画面の表示領域の四隅のいずれかに設置された超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記超音波センサから受信する受信手順と、
前記画面の表示領域の四隅のうち前記超音波センサとは対角の隅に設置された第２の超音波センサが、前記画面上に前記画面に略平行に超音波を発信し、発信した超音波が前記画面に接触している接触物で反射されて受信した超音波の強度及び角度を示す超音波受信情報を、前記第２の超音波センサから受信する第２の受信手順と、
前記超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第１の接触物が接触した画面上の接触位置の座標を特定する座標特定手順と、
前記第２の超音波センサから受信した前記超音波受信情報を基に、前記接触物のうち第２の接触物が接触した画面上の接触位置の座標を特定する第２の座標特定手順と、
前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物の少なくとも１つによる前記画面に対する操作内容を特定する操作内容特定手順と、
を実行させるためのプログラムであって、
前記操作内容特定手順では、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が閾値以上である場合、前記第２の接触物は、前記第１の接触物とは異なるものであると判断し、前記第１の接触物について特定した座標と、前記第２の接触物について特定した座標と、を基に、前記第１の接触物及び前記第２の接触物による前記画面に対する操作内容を特定し、
前記第１の接触物について特定した座標と前記第２の接触物について特定した座標との間の距離が前記閾値未満である場合、前記第２の接触物は、前記第１の接触物とは同じものであると判断し、前記第１の接触物について特定した座標を基に、前記第１の接触物による前記画面に対する操作内容を特定する、
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018011434A JP6575882B2 (ja) | 2018-01-26 | 2018-01-26 | 入力システム、情報処理装置、制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018011434A JP6575882B2 (ja) | 2018-01-26 | 2018-01-26 | 入力システム、情報処理装置、制御方法、及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019074114A Division JP2019133705A (ja) | 2019-04-09 | 2019-04-09 | 入力システム、情報処理装置、制御方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019128876A JP2019128876A (ja) | 2019-08-01 |
| JP6575882B2 true JP6575882B2 (ja) | 2019-09-18 |
Family
ID=67473179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018011434A Active JP6575882B2 (ja) | 2018-01-26 | 2018-01-26 | 入力システム、情報処理装置、制御方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6575882B2 (ja) |
-
2018
- 2018-01-26 JP JP2018011434A patent/JP6575882B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019128876A (ja) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9645720B2 (en) | Data sharing | |
| US9740338B2 (en) | System and methods for providing a three-dimensional touch screen | |
| KR101464327B1 (ko) | 3차원 에어터치 피드백 장치, 시스템 및 방법 | |
| KR102402048B1 (ko) | 전자 장치 및 그 제어 방법 | |
| US20050270278A1 (en) | Image display apparatus, multi display system, coordinate information output method, and program for implementing the method | |
| JP6689559B2 (ja) | 画像投影装置、システム、画像投影方法およびプログラム | |
| CN103929603A (zh) | 图像投影设备、图像投影***及控制方法 | |
| JP5645444B2 (ja) | 画像表示システムおよびその制御方法 | |
| US20140168065A1 (en) | Motion detection system | |
| TW201710641A (zh) | 可調適的深度感測系統 | |
| US11989352B2 (en) | Method display device and medium with laser emission device and operations that meet rules of common touch | |
| CN113260963A (zh) | 书写笔记信息的传输方法及其传输***、电子设备 | |
| US20080136781A1 (en) | Dual light sources mouse capable of controlling the on and off state of the second light source | |
| JP6575882B2 (ja) | 入力システム、情報処理装置、制御方法、及びプログラム | |
| JP2019133705A (ja) | 入力システム、情報処理装置、制御方法、及びプログラム | |
| US9652081B2 (en) | Optical touch system, method of touch detection, and computer program product | |
| US10185406B2 (en) | Information technology device input systems and associated methods | |
| KR102404451B1 (ko) | 적외선 신호 처리를 위한 필터링 방법, 그를 이용한 적외선 신호 처리 장치 및 적외선 기반 전자 칠판 시스템 | |
| CN107111354B (zh) | 非故意触摸拒绝 | |
| KR102155092B1 (ko) | 오디오 시스템 및 그것의 제어 방법 | |
| JP2021197024A (ja) | 表示装置、表示方法及びプログラム | |
| KR102404452B1 (ko) | 전자 칠판 시스템을 위한 화각 설정 방법, 그를 수행하는 단말 장치 및 적외선 기반 전자 칠판 시스템 | |
| KR101337138B1 (ko) | 사용자 단말기 및 이의 제어 방법 | |
| US11797104B2 (en) | Electronic device and control method of the same | |
| CN104427281A (zh) | 图像投影装置、图像投影***以及图像投影方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190808 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6575882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |