JP4294668B2 - 点図ディスプレイ装置 - Google Patents

点図ディスプレイ装置 Download PDF

Info

Publication number
JP4294668B2
JP4294668B2 JP2006248941A JP2006248941A JP4294668B2 JP 4294668 B2 JP4294668 B2 JP 4294668B2 JP 2006248941 A JP2006248941 A JP 2006248941A JP 2006248941 A JP2006248941 A JP 2006248941A JP 4294668 B2 JP4294668 B2 JP 4294668B2
Authority
JP
Japan
Prior art keywords
pin matrix
fingertip
pressure
main
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006248941A
Other languages
English (en)
Other versions
JP2008071102A (ja
Inventor
剛史 星野
パオラントニオ セルジオ
有人 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006248941A priority Critical patent/JP4294668B2/ja
Priority to US11/710,515 priority patent/US20080068343A1/en
Publication of JP2008071102A publication Critical patent/JP2008071102A/ja
Application granted granted Critical
Publication of JP4294668B2 publication Critical patent/JP4294668B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、触知可能に複数のピンをマトリクス状に配置してなる画面を備えた点図ディスプレイ装置に関する。
従来、複数の細いピンをマトリクス上に配置し、圧電素子などを用いて夫々のピンを上下に駆動可能として、任意のピンを突出させることにより、文字や図形，画像などの情報を表示し、かかるピンマトリクスに指先で触れることにより、かかる情報を指先で、即ち、触覚で認識（触知）することができるようにした点図ディスプレイ装置が知られている。
この一例としては、例えば、視覚障害者などのオペレータがパソコンを操作するために用いるマウスにこれを適用するものであって、マウスの操作面にピンマトリクスを設け、これに文字や図形を表示するものである。この文字や図形が表示される領域では、ピンを駆動することにより、表示する文字や図形を変更することができ、変更しない場合には、各ピンの状態は固定されている。また、ピンマトリクスの一部の辺部を、制御情報をオペレータに通知する部分としており、この部分では、ピンを突出させたり，ひっこめたりする振動を行なわせることにより、しかも、制御情報に応じて振動周波数を異ならせることにより、種々の制御情報をオペレータに知らせるようにしている（例えば、特許文献１参照）。
また、他の例としては、グラフィカル・ユーザ・インタフェースの画面をピンをアレイ状に配列してなる触知盤で表示する方法として、この画面の触知盤で表示する表示領域の大きさを変更できるようにしたものであって、キーボードの所定のキーを操作することにより、この表示領域の大きさを変更できるようにしたものである（例えば、特許文献２参照）。
さらに、他の例としては、マトリクス触覚ディスプレイで文書レイアウトを設定し、設定されたレイアウトに文書などのデータを割り当てて表示させるものであって、設定するレイアウトやその位置，データを選択し、この選択に基づいてレイアウトが設定され、そこに選択したデータが表示されるものである（例えば、特許文献３参照）。
特開平１０ー１８７０２５号公報 特開平１１ー１６１１５２号公報 特開２０００ー２０６８７１号公報
ところで、従来のピンマトリクスによって表示される点図は、オペレータに情報を提供するものであって、情報を入力することは考慮されてはなかった。このため、オペレータが、例えば、視覚障害者の場合、提供される情報はピンマトリクスでの点図で認識できるが、この情報を読み取るために触れているピンマトリクスで情報の入力操作をすることができず、このためには、これまで触れていたピンマトリクスとは別の部材に対して操作しなければならない。
例えば、上記特許文献１に記載の技術では、ピンマトリクスで文字や図形などを表示することができ、また、制御情報を表示することができて、オペレータはかかる点図に指先などで触れ、触覚によってかかる情報を認識するものであるが、マウスから制御情報を入力する場合には、ピンマトリクスとは別に設けられた操作部材を操作するものであった。
また、上記特許文献２に記載の発明では、触知盤で表示するグラフィカル・ユーザ・インタフェースの表示領域の大きさを変更するものであるが、この変更には、キーボードの所定のキーの操作を必要とするものである。
さらに、上記文献３に記載の技術は、マトリクス上の触覚ピンディスプレイに文書レイアウトを作成するものであるが、そのための文書レイアウトの選択，位置設定やデータの選択は、キーボードやマウスなどを、音声出力される操作メニューのないように応じて、操作することにより、行なわれるものであって、触覚ピンディスプレイはその結果を表示するものである。
このように、従来のピンマトリクスからなる点図ディスプレイ装置では、オペレータに情報を提供するものであっても、オペレータが情報を入力操作できるものではない。
ところで、視覚障害者に限らず、晴眼者の場合でも、自動車の運転中でのカーナビゲーション装置や満員電車の中での携帯端末などに対しては、その表示画面を眼で確認しながら必要な操作することができない状況もあり、このような状況を解消することができるようにすることが望まれている。
本発明の目的は、かかる点に鑑みてなされたものであって、点図を表示するピンマトリクスで情報の入力も可能とした点図ディスプレイ装置を提供することにある。
上記目的を達成するために、本発明は、点図ディスプレイ本体の上面に複数のピンがマトリクス状に配列されてなるピンマトリクスに点図を表示し、ピンマトリクスに指先で触れることにより、点図を触知できるようにした点図ディスプレイ装置であって、ピンマトリクスの表面に赤外線を照射する赤外線ＬＥＤと、反射される赤外線を受光し、ピンマトリクスを押圧する主指先に取り付けられた再帰反射材からなるマーカからの反射赤外線を検出するビデオカメラと、ピンマトリクスへの押圧力を検出する圧力センサと、ビデオカメラによるマーカからの反射赤外線の検出結果から主指先によるピンマトリクスのタッチ位置を主指先タッチ位置として検出し、かつ圧力センサの検出圧力からピンマトリクスでの押圧力を検出する制御部とを備え、制御部は、検出した押圧力が予め決められた閾値以上のとき、ピンマトリクスに対してタッチ操作がなされたと判定し、タッチ操作に応じてピンマトリクスに表示した点図に対する表示制御を実行し、さらに、押圧力が閾値以上であって、かつ主指先タッチ位置が点図の範囲内にあるとき、主指先以外の指先でピンマトリクスを押圧することにより変化するピンマトリクスでの圧力重心位置に応じて、ピンマトリクスに表示される点図を変化させることを特徴とするものである。
また、本発明は、点図ディスプレイ本体の上面に複数のピンがマトリクス状に配列されてなるピンマトリクスに点図を表示し、ピンマトリクスに指先で触れることにより、点図を触知できるようにした点図ディスプレイ装置であって、ピンマトリクスの表面に赤外線を照射する赤外線ＬＥＤと、反射される赤外線を受光し、ピンマトリクスを押圧する主指先に取り付けられた再帰反射材からなるマークからの反射赤外線を検出するビデオカメラと、ピンマトリクスへの押圧力を検出する複数の圧力センサと、ビデオカメラによるマーカからの反射赤外線の検出結果から主指先によるピンマトリクスのタッチ位置を主指先タッチ位置として検出し、かつ複数の圧力センサの検出圧力からピンマトリクスでの押圧による圧力重心位置と押圧力とを検出する制御部とを備え、制御部は、検出した押圧力が予め決められた閾値以上のとき、ピンマトリクスに対してタッチ操作がなされたと判定し、タッチ操作に応じてピンマトリクスに表示した点図に対する表示制御を実行し、さらに、押圧力が閾値以上であって、かつ主指先タッチ位置が点図の範囲内にあるとき、主指先以外の指先でピンマトリクスを押圧することにより変化するピンマトリクスでの圧力重心位置に応じて、ピンマトリクスに表示される点図を変化させることを特徴とするものである。
また、本発明は、ビデオカメラが第１，第２のビデオカメラであって、第１，第２のカメラ毎に赤外線ＬＥＤが設けられ、制御部は、第１のビデオカメラによるマーカからの反射赤外線の検出結果から第１のビデオカメラからのマーカの方向を検出するとともに、第２のビデオカメラによるマーカからの反射赤外線の検出結果から第２のビデオカメラからのマーカの方向を検出して、第１のビデオカメラからのマーカの方向と第２のビデオカメラからのマーカの方向とからピンマトリクスの主指先タッチ位置を検出することを特徴とするものである。
また、本発明は、ピンマトリクス全体を覆う投影スクリーンと、投影スクリーンに文字や図形，地図，画像などを投影するプロジェクタとを設けたことを特徴とするものである。
また、本発明は、制御部が、主指先による押圧力が閾値以上であって、かつ主指先タッチ位置と圧力重心位置とが点図の範囲内にあるとき、主指先タッチ位置と圧力重心位置との移動とともに点図を移動もしくは回転させる制御を行なうことを特徴とするものである。
また、本発明は、制御部が、押圧力が閾値以上であって、かつ主指先タッチ位置と圧力重心位置とが点図の範囲内にあるとき、主指先タッチ位置と圧力重心位置との間の距離に応じて、点図の大きさを変化させる制御を行なうことを特徴とするものである。
また、本発明は、制御部が、押圧力が閾値以上であって、かつ主指先タッチ位置と圧力重心位置とが点図の範囲内にあるとき、主指先タッチ位置を中心として圧力重心位置が回転移動するとともに、点図を主指先タッチ位置を中心に回転させる制御を行なうことを特徴とするものである。
また、本発明は、ピンマトリクスに表示される点図が数値を表わす複数の数値表示エリアであって、制御部が、押圧力が閾値以上であって、かつ主指先タッチ位置が数値表示エリアのうちの所定の数値表示エリアの点図の範囲内にあるとき、主指先以外の指先でピンマトリクスを押圧することによる圧力重心位置の所定の数値表示エリアに対する位置に応じて、所定の数値表示エリアで表示される数値を変化させる制御を行なうことを特徴とするものである。
また、本発明は、ピンマトリクスに表示される点図は、複数のフロア選択ボタンを有するエレベータの操作部を表わすものであって、制御部が、主指先タッチ位置が所定のフロア選択ボタンの点図の範囲内にあって、主指先による押圧力が閾値以上であるとき、所定のフロア選択ボタンでフロアが指定されたものと判定し、エレベータを指定されたフロアに移動させるための指令をエレベータ装置に出力することを特徴とするものである。
また、本発明は、フロア操作部には、点図によって各フロアを表わすフロアバーとエレベータの位置を表わす位置バーとを有するエレベータ位置表示部が設けられており、制御部が、エレベータの移動とともに、エレベータ位置表示部での位置バーを移動させる制御を行なうことを特徴とするものである。
また、本発明は、ピンマトリクスに表示される点図が、文字列からなる文章と文章をスクロールさせるためのスクロールボタンとからなり、制御部が、圧力重心位置がスクロールボタンの点図の範囲内にあるとき、文字をスクロールさせる制御を行なうことを特徴とするものである。
また、本発明は、ピンマトリクスに表示される点図は、音声再生装置の音量調整部や操作ボタンを有する操作部を表わすものであって、制御部が、主指先タッチ位置が音量調整部の音量調整バーの位置にあって、主指先による押圧力が閾値以上であるとき、主指先タッチ位置の移動に応じて、音声再生装置での再生音量を変化させる制御を行なうことを特徴とするものである。
本発明によると、ピンマトリクスでの主指先による主指先タッチ位置や圧力重心位置，押圧力を認識でき、その認識結果に応じたピンマトリクスでの点図の制御動作や他の機器の制御動作を行なわせることが可能となる。
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明による点図ディスプレイ装置の第１の実施形態を概略的に示す構成図であって、同図（ａ）は全体構成を示す外観斜視図、同図（ｂ）は同図（ａ）の縦断面図であり、１は装置本体、２は表示部、３はピンマトリクス、４は支持体、５は保持部、６は点図ディスプレイ本体、７は筐体、８は圧力センサ、９は赤外線ＬＥＤ（Light-Emitting Diode：発光ダイオード）、１０はビデオカメラ、１１は主指先、１２はマーカである。
図１（ａ），（ｂ）において、この第１の実施形態は、装置本体１と支持体４によってこの装置本体１に支持された保持部５とで構成されている。装置本体１は、筐体７とこの筐体７内に配置された点図ディスプレイ本体６とからなり、この点図ディスプレイ本体６の上面が表示部２をなして、この表示部２にピンマトリクス３が設けられている。このピンマトリクス３が点図ディスプレイ装置の点図表示画面を形成している。また、点図ディスプレイ本体６は、例えば、その４つの角部が圧力センサ８を介して筐体７に支持されている。ここでは、概略的に２つの角部の圧力センサ８を示している。
支持体４は、ここでは、一方の端部側が筐体７の側面に固定された垂直部４ａとこの垂直部４ａの他方の端部に一端が取り付けられた水平部４ｂとからなり、この水平部４ｂの他端に保持部５が取り付けられている。これにより、保持部５は、表示部２上のピンマトリクス３による点図表示画面のほぼ中央部と対向するように、配置されている。なお、支持体４としては、必ずしもかかる構成とする必要はなく、例えば、Ｌ字状に一体のものとし、逆Ｌ字状に筐体７の側面に取り付けられたものであってもよい。
保持部５のピンマトリクス３による点図表示画面と対向する下面側には、その下面の中央部分にビデオカメラ１０が、このビデオカメラ１０の周辺に１または複数の赤外線ＬＥＤ９が夫々設けられている（ここでは、赤外線ＬＥＤを２個示しているが、１個でもよいし、また、３個以上であってもよい）。赤外線ＬＥＤ９により、ピンマトリクス３による点図表示画面の全体に赤外線が照射され、また、ビデオカメラ１０により、ピンマトリクス３による点図表示画面の全体が撮影される。ここで、ビデオカメラ１０には、赤外線のみを通し、可視光などの他の波長領域の光線をカットするフィルタ（赤外線通過フィルタ）が設けられており、ピンマトリクス３の表面などから反射される赤外線を撮影する。
図２は図１におけるピンマトリクスの一具体例を概略的に示すものであって、同図（ａ）は上側から見た斜視図、同図（ｂ）は上面図、同図（ｃ）は同図（ｂ）の分断線Ａ−Ｂに沿う断面図であり、１３，１３ａ，１３ｂはピンである。
図２（ａ）〜（ｃ）において、ピンマトリクス３は複数のピン１３がマトリクス状に配列されたものであり、これらのピン１３は、図示しないピン駆動手段により、突出した状態（突出状態）と突出していない状態（非突出状態）とに状態が設定される。ここでは、便宜上、白丸で示すピン１３を非突出ピン１３ａとし、突出した状態の黒色で示すピン１３を突出ピン１３ｂとしている。かかるピンマトリクス３において、適宜のピン１３を突出ピン１３ｂとし、これら以外のピン１３を非突出ピン１３ａとすることにより、非突出ピン１３ａと突出ピン１３ｂとの組み合わせで、ピン１３の凹凸による触感的に認識可能な文字や図形，画像などの情報（以下、これらをまとめて触感情報という）が形成されることになり、このことから、ピンマトリクス３による点図表示画面に触感情報が表示されることになる。
図１に戻って、このように触感情報が表示されているピンマトリクス３に指先で触れると、ピン１３の凹凸を指先で知覚することにより、ピンマトリクス３に表示された触感情報を認識（触知）することができる。
この第１の実施形態では、ピンマトリクス３による点図表示画面に指先が触れることにより、あるいは指先でピンマトリクス３のピンを押し込むようにすることにより、ピンマトリクス３の四隅に設けられた夫々の圧力センサ８がこれら角部に加えられる圧力を検出する。
また、この第１の実施形態では、ピンマトリクス３による点図表示画面上の所定の位置を指先でタッチして、その位置をタッチ操作することにより、後述する種々の制御が行なわれるが、この操作する指先によるタッチ位置を検出可能とするために、この指先の爪先などの先端部に、例えば、シート状やサック状の再帰反射材からなるマーカ１２が取り付けられる。再帰反射材は、周知のように、これに照射される光が常にその照射方向に反射されるものであって、赤外線ＬＥＤ９をビデオカメラ１０に近接して配置することにより、これら赤外線ＬＥＤ９から照射された赤外線をビデオカメラ１０の方向に反射させることができる。従って、再帰反射材からなるマーカ１２がピンマトリクス３による点図表示画面上のどの位置にあっても、マーカ１２で反射された赤外線はビデオカメラ１０で受光されることになり、また、ピンマトリクス３による点図表示画面上でのマーカ１２の位置に応じてビデオカメラ１０の撮像面での反射赤外線の受光位置が異なるから、この受光位置を検出することにより、ピンマトリクス３による点図表示画面上でのマーカ１２の位置を検出することができる。
かかるマーカ１２が取り付けられた指先が主指先１１であり、この主指先１１によるタッチ位置を検出することができる。かかるタッチ位置を、以下、主指先タッチ位置という。
このように、赤外線ＬＥＤ９とビデオカメラ１０とは、ピンマトリクス３による点図表示画面でのマーカ１２の位置を検出するものであるが、圧力センサ８はピンマトリクス３による点図表示画面上での押圧点の重心（以下、圧力重心位置という）を検出するためのものである。
図３はピンマトリクス３による点図表示画面での圧力重心位置の検出方法を示す説明図であって、８ａ〜８ｄは圧力センサ８、１１’は副指先、１４は圧力重心位置であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。
図３（ａ）は再起反射材１２が取り付けられた主指先１１でピンマトリクス３の所定の位置に圧力を加えた状態を示すものである。点図ディスプレイ本体６の４つの角部に夫々圧力センサ８が設けられているが、左上角部に設けられている圧力センサ８を圧力センサ８ａとし、右上角部に設けられている圧力センサ８を圧力センサ８ｂとし、左下角部に設けられている圧力センサ８を圧力センサ８ｃとし、右下角部に設けられている圧力センサ８を圧力センサ８ｄとする。
ここで、圧力センサ８ａの位置を原点とし、この圧力センサ８ａから圧力センサ８ｂの方向（水平方向）をｘ座標軸の方向、この圧力センサ８ａから圧力センサ８ｃの方向（垂直方向）をｙ座標軸の方向とするｘ−ｙ座標系を想定する。
主指先１１でピンマトリクス３による点図表示画面を押圧すると、夫々の圧力センサ８ａ〜８ｄで圧力が検出されるが、このときの各圧力センサ８ａ，８ｂ，８ｃ，８ｄの検出圧力を夫々Ａ，Ｂ，Ｃ，Ｄとする。また、圧力センサ８ａ，８ｂ間及び圧力センサ８ｃ，８ｄ間の距離（表示部２の横幅）をｘ０、圧力センサ８ａ，８ｃ間及び圧力センサ８ｂ，８ｄ間の距離（表示部２の縦幅）をｙ０とし、圧力重心位置１４の座標位置を（ｘ，ｙ）とすると、
（Ａ＋Ｃ）：（Ｂ＋Ｄ）＝（ｘ０−ｘ）：ｘ
（Ａ＋Ｂ）：（Ｃ＋Ｄ）＝（ｘ０−ｘ）：ｘ
が成立し、これより、
ｘ＝ｘ０・（Ｂ＋Ｄ）／（Ａ＋Ｂ＋Ｃ＋Ｄ） ……（１）
ｙ＝ｙ０・（Ｃ＋Ｄ）／（Ａ＋Ｂ＋Ｃ＋Ｄ） ……（２）
となる。このことからして、圧力センサ８ａ，８ｂ，８ｃ，８ｄの検出圧力から、ピンマトリクス３上での圧力重心位置１４の座標位置（ｘ，ｙ）を求めることができる。
ここで、再起反射材１２が取り付けられた主指先１１でのみピンマトリクス３による点図表示画面に圧力を加えている場合には、この主指先１１でのマーカ１２の取り付け位置が圧力重心位置１４となり、ビデオカメラ１０の撮影出力で検出されるこのマーカ１２の位置と圧力センサ８ａ〜８ｄの検出出力の検出出力で得られる圧力重心位置１４とが一致することになる。
これに対し、図３（ｂ）に示すように、マーカ１２が取り付けられた主指先１１とは別の指先（以下、副指先という）１１’で、この主指先１１とは別の箇所に圧力を加えた場合には、圧力重心位置１４が主指先１１から副指先１１’の方向にずれるが、かかる圧力重心位置１４も、圧力センサ８ａ〜８ｄの検出出力により、上記式（１），（２）を用いて求めることができる。この場合には、当然ビデオカメラ１０の撮影出力で検出されるマーカ１２の位置と圧力重心位置１４とは異なることになる。
この第１の実施形態では、上記のように、マーカ１２が取り付けられた主指先１１のビデオカメラ１０によって検出されるピンマトリクス３による点図表示画面上での位置が、この主指先１１によるタッチ位置であるが、また、圧力センサ８ａ〜８ｄの検出出力から検出される圧力重心位置１４も、ピンマトリクス３による点図表示画面上でのタッチ位置である。マーカ１２が取り付けられた主指先１１のみがピンマトリクス３による点図表示画面に当てられたいるときには、主指先タッチ位置と圧力重心位置１４とは一致するが、マーカ１２が取り付けられた主指先１１とこれとは別の副指先１１’とがピンマトリクス３による点図表示画面に当てられているときには、主指先タッチ位置と圧力重心位置１４とは異なる位置となる。
図４は図１に示す点図ディスプレイ装置１が有するシステムの具体例を示すブロック図であって、１５は制御部、１６は記憶部、１７は接続部、１８は他の機能部であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図４（ａ）に示す具体例は、この第１の実施形態が他の機器とネットワークで接続されない単独の機器、即ち、スタンドアロン機器である場合の内蔵のシステム構成である。
かかるシステムにおいて、記憶部１６には、文字や図形，画像などの情報（これらをまとめて、以下、画像情報という）が記憶されており、制御部１５は、かかる情報を処理してかかる情報に対する触感情報を生成し、点図ディスプレイ本体６に供給してピンマトリクス３による点図表示画面にこの触感情報を点図として表示させる。また、制御部１５は、ビデオカメラ１０の撮影信号を取り込み、ピンマトリクス３による点図表示画面に当てられたマーカ１２の位置、従って、このマーカ１２が取り付けられた主指先１１によって指定された主指先タッチ位置を検出し、また、圧力センサ８（即ち、圧力センサ８ａ〜８ｄ）の検出出力を取り込み、ピンマトリクス３による点図表示画面での圧力重心位置１４による圧力重心位置を周期的に検出する。
さらに、制御部１５は、圧力センサ８ａ〜８ｄの検出出力からピンマトリクス３に加えられる圧力重心位置１４（マーカ１２が取り付けられた主指先１１のみで押圧される場合には、このマーカ１２の位置）での押圧力Ｐｓを検出し、検出した押圧力Ｐｓから指先１１，１１’によるピンマトリクス３への押圧状態を求める。求めた圧力状態から、ピンマトリクス３を押圧操作するオペレータの操作の有無や意図（以下、これをオペレータの操作という）を認識するものである。なお、圧力重心位置１４での押圧力Ｐｓとしては、ここでは、図３（ａ），（ｂ）での圧力センサ８ａ〜８ｄの検出出力Ａ〜Ｄの合計（即ち、Ｐｓ＝Ａ＋Ｂ＋Ｃ＋Ｄ）とする。
図５は検出される圧力重心位置１４での押圧力Ｐｓとオペレータの操作との関係を示す図である。
同図において、設定圧力Ｐ1，Ｐ2（但し、Ｐ1＜Ｐ2）が決められており、制御部１５は、
０≦Ｐｓ＜Ｐ1のときには、指先１１，１１’のいずれもがピンマトリクス３に触れていない（非押圧状態）
Ｐ1≦Ｐｓ＜Ｐ2のときには、少なくとも指先１１，１１’のいずれもがピンマトリクス３に触れているが、ピンマトリクス３を意図的に押していない（弱押圧状態）
Ｐ2≦Ｐｓときには、少なくとも指先１１，１１’のいずれもがピンマトリクス３を意図的に押している（強押圧状態）
と判定し、その判定結果に応じた制御動作をする。
図４（ａ）に戻って、制御部１５は、かかる主指先タッチ位置や圧力重心位置を検出する毎に、１周期前に検出した主指先タッチ位置や圧力重心位置との差を検出して、主指先タッチ位置や圧力重心位置の変化や圧力センサ８で検出される圧力（指先１１，１１’の押圧力）の変化を検出し、記憶部１６から画像情報に対し、読み出してかかる主指先タッチ位置や圧力重心位置の変化や圧力センサ８で検出される圧力の変化に応じた処理を行なって触感情報を作成し、ピンマトリクス３による点図表示画面に表示させる。これにより、主指先１１や副指先１１’を、ピンマトリクス３からなる点図表示画面に圧力を加えた状態で、移動させることにより、即ち、主指先１１や副指先１１’でピンマトリクス３からなる点図表示画面上を操作することにより、点図表示画面上で表示される触感情報を変化させることができる。
図４（ｂ）に示す具体例は、例えば、エレベータ操作部やカーナビゲーション操作部などの他の機器と接続された装置のシステム構成であって、基本構成は図４（ａ）に示す具体例と同様であるが、さらに、制御部１５が接続部１７を介して他の機能部１８に接続されており、ピンマトリクス３からなる点図表示画面での主指先１１や副指先１１’による操作に応じた制御信号を接続部１７を介して他の機能部１８に供給し、これを制御するようにしたものである。ここで、接続部１７は、例えば、接続線やネットワークなどであり、他の機能部１８としては、エレベータ装置やカーナビゲーションシステムでのセンタなどである。
図６は制御部１５（図４）による図５に基づくピンマトリクス３での指先の押圧状態とその認識状態との関連を示す図であって、同図（ａ）の（イ），（ロ），（ハ）はピンマトリクス３での指先の押圧状態を、同図（ｂ）の（イ），（ロ），（ハ）は制御部１５の認識結果（即ち、ピンマトリクス３上での主，圧力重心位置）を夫々示し、○印のマーク１９はビデオカメラ１０の出力によって検出される主指先タッチ位置を示し、以下、この○印のマークを主指先タッチ位置１９という。△印のマーク２０は押圧力Ｐｓが図５でのＰ1≦Ｐｓ＜Ｐ2（弱押圧状態）であるときの圧力センサ８ａ〜８ｄの検出出力によって検出される圧力重心位置１４を示し、以下、この△印のマーク２０を弱押圧の圧力重心位置２０という。▲印のマーク２１は押圧力Ｐｓが図５でのＰ2≦Ｐｓ（強押圧状態）であるときの圧力センサ８ａ〜８ｄの検出出力によって検出される圧力重心位置１４を示し、以下、この▲印のマーク２１を強押圧の圧力重心位置２１という。
図６（ａ）の（イ）は主指先１１による押圧力Ｐｓが０≦Ｐｓ＜Ｐ1であるときの状態（非押圧状態）を示すものであって、この非押圧状態では、主指先１１がピンマトリクス３に触っていても、制御部１５は触っていないと判定する。そして、この判定のときには、制御部１５は、図６（ｂ）の（イ）で○印のマークで表わす主指先１１のマーカ１２の位置である主指先タッチ位置１９のみを認識する。
図６（ａ）の（ロ）は主指先１１による押圧力ＰｓがＰ1≦Ｐｓ＜Ｐ2であるときの状態（弱押圧状態）を示すものであって、この弱押圧状態では、主指先１１がピンマトリクス３に触れているが、制御部１５は主指先１１がピンマトリクス３を意図的に押圧しているものではないと判定する。そして、この判定のときには、制御部１５は、図６（ｂ）の（ロ）で△印のマークで表わす弱押圧の圧力重心位置２０を認識する。この場合でも、○印のマークで表わす主指先タッチ位置１９も認識される。
図６（ａ）の（ハ）は主指先１１による押圧力ＰｓがＰ2≦Ｐｓであるときの状態（強押圧状態）を示すものであって、この強押圧状態では、制御部１５は主指先１１がピンマトリクス３を意図的に押圧しているものと判定する。そして、この判定のときには、制御部１５は、図６（ｂ）の（ハ）で▲印のマーク２１で表わす強押圧の圧力重心位置２１を認識する。この場合でも、○印のマークで表わす主指先タッチ位置１９も認識される。
このようにして、主指先１１のピンマトリクス３での押圧位置と押圧状態に応じて、制御部１５がこの主指先１１の主指先タッチ位置と圧力重心位置１４と押圧状態とを認識し、その認識結果に応じた後述する制御動作を行なう。
なお、図６は主指先１１のみによるタッチ操作を示すものであるが、副指先１１’のタッチ操作もある場合には、○印のマークで表わす主指先タッチ位置１９と△印のマークで表わす弱押圧の圧力重心位置２０，▲印のマークで表わす強押圧の圧力重心位置２１とは異なる位置のものとなる。
次に、図４（ａ）に示すシステムを備えたこの第１の実施形態でのオペレータの操作によるピンマトリクス３での点図の表示について説明する。
図７はオペレータの操作による点図の表示状態の第１の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３でのビデオカメラ１０によって検出されるマーカ１２の位置（主指先タッチ位置）と圧力センサ８ａ〜８ｄの出力から求められる圧力重心位置１４とのオペレータの操作による変化を示す図であり、２２は点図、２３はスライド方向を示す矢印である。なお、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図７（ａ）の（イ）はピンマトリクス３に点図２２が表示されているが、指先でタッチされていない状態を示すものであって、この場合には、図７（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置１４も認識していない。なお、この点図２２の輪郭が突出ピン１３ｂ（図２）で表わされ、それ以外の部分が非突出ピン１３ａ（図２）で表わされるものである。従って、オペレータは、ピンマトリクス３の表面を指先で触ることにより、この点図２２を触知できる。
かかる状態で、図７（ａ）の（ロ）で示すように、オペレータがこの点図２２を認識するために、主指先１１で点図２２に触れると、この場合、この主指先１１による押圧力ＰｓはＰ1≦Ｐｓ＜Ｐ2であって、制御部１５は、ビデオカメラ１０の出力により、図７（ｂ）の（ロ）で○印のマークで示すように、ピンマトリクス３での主指先１１による主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、△印のマークで表わされる弱押圧の圧力重心位置２０と弱押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９とこの弱押圧の圧力重心位置２０とは一致する。
そして、オペレータが主指先１１を押し込み、その押圧力ＰｓがＰ2≦Ｐｓとなると、制御部１５は、図７（ｂ）の（ハ）で示すように、▲印のマークで表わされる強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９とこの圧力重心位置２１とは一致する。これにより、制御部１５は主指先１１による操作を待つが、図７（ａ）の（ハ）に示すように、かかる強圧状態で主指先１１を、例えば、矢印２３に示す方向にスライドさせると、制御部１５は、図７（ｂ）の（ニ）に示すように、○印のマークで表わす主指先タッチ位置１９と▲印のマークで表わす強押圧の圧力重心位置２１との移動（スライド）を認識し、このスライドとともに記憶部１６からこの点画２２の画像情報を順次読み出してピンマトリクス３上での表示位置をスライドに追従して変更させることにより、図７（ａ）の（ニ）に示すように、ピンマトリクス３上で点図２２を矢印２３の方向にスライドさせる。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
このように、オペレータが主指先１１でのみピンマトリクス３に触れて、主指先タッチ位置１９と強押圧の圧力重心位置２１が一致し、かつ強押圧状態にして主指先１１をスライドさせる操作を行なうと、ピンマトリクス３上で表示されている点図２２がスライドする。従って、ピンマトリクス３でスライド操作が可能となる。この第１の実施形態が、図４（ａ）に示すシステムを備えた装置、即ち、スタンドアロン機器である場合には、このスライド操作により、ピンマトリクス３で表示される点図をオペレータの好みの位置に表示させることができるし、また、制御部１５がこの装置の図示しない各部をこのスライド操作に応じた動作をさせることが可能となる。また、この第１の実施形態が図４（ｂ）に示すシステムを備えている場合には、他の機能部１８をこのスライド操作に応じた動作を行なわせることができる。
なお、ピンマトリクス３でのピンは、ビデオカメラ１０の撮像面での１画素もしくは複数画素に対応する太さを有しており、ピンマトリクス３での各ピンの位置とビデオカメラ１０の撮像面での画素位置とは対応している。従って、ビデオカメラ１０で撮影されるマーカ１２の位置（主指先タッチ位置１９）は、その画素位置により、ピンマトリクス３での位置と対応付けられる。そこで、一方、ピンマトリクス３で表示される点図２２の範囲は、この範囲に含まれるピンの位置により、ビデオカメラ１０の撮像面での範囲と対応付けられるものであり、このことから、制御部１５は、例えば、ピンマトリクス３で表示される点図２２の範囲を表わすテーブルを作成しておくことにより、ビデオカメラ１０で撮像されたマーカ１２のこの撮像面での位置をピンマトリクス３上での位置に変換して点図２２の範囲内にあるか否か、あるいはこの範囲に触れているか否かを判定することができる。勿論、図７（ａ）の（ハ）から図７（ａ）の（ニ）のように、ピンマトリクス３に表示される点図２２が移動したり、後述の具体例のように、変化したりした場合には、かかる対応付けのテーブルを変更することになる。また、逆に、ピンマトリクス３で表示される点図２２の範囲をビデオカメラ１０の撮像面での範囲に対応付けたテーブルを作成し、ビデオカメラ１０で撮像されたマーカ１２のこの撮像面での位置が点図２２の範囲内にあるか否か、あるいはこの範囲に触れているか否かを判定するようにしてもよい。
圧力重心位置２０，２１についても、上記式（１），（２）で表わされる座標位置（ｘ，ｙ）がピンマトリクス３上での位置を表わすものであるから、制御部１５図、例えば、ピンマトリクス３上での位置とビデオカメラ１０の撮像面での位置の対応をもとに、ビデオカメラ１０の撮像面での位置に変換し、上記の対応付けのテーブルを用いて圧力重心位置２０，２１が点図２２の範囲内にあるか否か、あるいはこの範囲に触れているか否かを判定することができる。このことは、後述する具体例についても、同様である。
また、ビデオカメラ１０は、マーカ１２から反射される赤外線ばかりでなく、ピンマトリクス３のピンの表面などから反射される赤外線も受光する。しかし、マーカ１２からビデオカメラ１０への赤外線の反射量は、それ以外の部分からビデオカメラ１０への赤外線の反射量に比べ、非常に多いものであるから、ビデオカメラ１０の検出出力のレベルを閾値で検出することにより、マーカ１２から反射された赤外線に応じた信号を抽出することができる。このことは、後述する具体例についても、同様である。
図８はオペレータの操作による点図の表示状態の第２の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）は主指先タッチ位置と圧力重心位置１４とのオペレータの操作による変化を示す図であり、２４は点図である。なお、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図８（ａ）の（イ）はピンマトリクス３に点図（ここでは、一例として、ダイヤルとする）２２が表示されているが、主指先１１でこのダイヤル２４の縁部を強くタッチしてその押圧力ＰｓがＰ2≦Ｐｓとなっている状態を示している。この場合には、制御部１５は、図８（ｂ）の（イ）に示すように、○印のマークで表わす主指先タッチ位置１９と▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置と圧力重心位置とは一致する。
かかる状態で、オペレータが主指先１１を矢印２５で示す方向にこのダイヤル２４の縁部に沿って移動させると（即ち、このダイヤル２４を廻すように回転操作すると）、制御部１５は、図８（ｂ）の（ロ）に示すように、○印のマークで表わす主指先タッチ位置１９と▲印のマークで表わす強押圧の圧力重心位置２１との変化（移動）を認識し、この移動とともに記憶部１６からこのダイヤル２４の画像情報を順次読み出してピンマトリクス３上での表示位置を変更させることにより、図８（ａ）の（ロ）に示すように、ピンマトリクス３上でダイヤル２４が回転することになる。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
このように、この第２の具体例では、オペレータが主指先１１でのみピンマトリクス３に触れて、主指先タッチ位置と圧力重心位置が一致し、かつ強押圧状態にして主指先１１を円周に沿って移動させる操作を行なうと、ピンマトリクス３上で表示されているダイヤル２４が回転する。従って、ピンマトリクス３でダイヤル操作が可能となり、この第１の実施形態が図４（ａ）に示すスタンドアロン機器のような装置である場合、制御部１５が図示しない各部をダイヤル操作に応じた動作をさせるようにすることができる。また、この第１の実施形態が図４（ｂ）に示すシステムを備えた第１の実施形態では、このダイヤル操作を行なうことにより、他の機能部１８をこのダイヤル操作に応じて動作させることができる。なお、このような回転操作は、ダイヤル２４の点図にのみに限定されるものではない。
図９はオペレータの操作による点図の表示状態の第３の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３での主指先タッチ位置と圧力重心位置とのオペレータの操作による変化を示す図であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図９（ａ）の（イ）はピンマトリクス３に点図２２が表示されているが、指先でタッチされていない状態を示すものであって、この場合には、図９（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置１４も認識していない。
かかる状態で、図９（ａ）の（ロ）で示すように、オペレータがこの点図２２を操作するために、主指先１１で点図２２を強く押圧すると、この主指先１１による押圧力ＰｓはＰ2≦Ｐｓとなり、制御部１５は、ビデオカメラ１０の出力により、図９（ｂ）の（ロ）で示すように、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
そして、かかる状態で、図９（ａ）の（ハ）に示すように、点図２２の部分を他の指先、即ち、副指先１１’で強く押圧すると、圧力センサ８ａ〜８ｄで検出される圧力重心位置は指先１１，１１’の間であって、これら指先１１，１１’による押圧力ＰｓがＰ2≦Ｐｓとなると、制御部１５は、図９（ｂ）の（ハ）に示すように、▲印のマークで表わす強押圧の圧力重心位置２１が○印のマークで表わす主指先タッチ位置１９とは離れたことを認識するとともに、強押圧状態にあることも認識する。
しかる後、押圧状態を緩めることなく、主指先１１を静止させたまま副指先１１’を矢印２６で示す主指先１１から離れる方向に移動させると、制御部１５は、図９（ｂ）の（ニ）に示すように、▲印のマークで表わす強押圧の圧力重心位置２１が主指先タッチ位置１９から離れるように移動していくことを認識し、この移動とともに順次記憶部１６から点図２２の画像情報をその移動方向に応じた処理を行なってピンマトリクス３に表示させる。これにより、図９（ａ）の（ニ）に示すように、点図２２は、順次拡大されるように、表示状態が変化する。
なお、副指先１１’を静止させ、主指先１１を副指先１１’から離れるように移動させても、点図２２の表示位置が異なるだけで、同様に点図２２は順次拡大表示されていく。
また、逆に、主指先１１と副指先１１’とが互いに近づくように、主指先１１と副指先１１’との少なくともいずれかを移動させると、表示される点図２２は順次縮小されていく。
このように、オペレータが主指先１１と副指先１１’で点図に強くタッチし、これら主指先１１と副指先１１’との少なくともいずれかを移動させてこれら指先１１，１１’間の距離を変化させることにより、表示される点図の大きさを変化させることができる。
図１０はオペレータの操作による点図の表示状態の第４の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３での主指先タッチ位置と圧力重心位置１４とのオペレータの操作による変化を示す図であり、２７は矢印である。また、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図１０（ａ）の（イ）はピンマトリクス３に点図２２が表示されているが、指先でタッチされていない状態を示すものであって、この場合には、図１０（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置も認識していない。
かかる状態で、図１０（ａ）の（ロ）で示すように、オペレータがこの点図２２を操作するために、主指先１１で点図２２を強く押圧すると、この主指先１１による押圧力ＰｓはＰ2≦Ｐｓとなり、制御部１５は、ビデオカメラ１０の出力により、図１０（ｂ）の（ロ）に示すように、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
そして、かかる状態で、図１０（ａ）の（ハ）に示すように、点図２２の部分を他の指先、即ち、副指先１１’で強く押圧すると、圧力センサ８ａ〜８ｄで検出される圧力重心位置は指先１１，１１’の間であって、これら指先１１，１１’による押圧力ＰｓがＰ2≦Ｐｓとなると、制御部１５は、図１０（ｂ）の（ハ）に示すように、○印のマークで表わす主指先タッチ位置１９から離れた▲印のマークで表わす強押圧の圧力重心位置２１を認識するとともに、強押圧状態にあることとも認識する。
しかる後、押圧状態を緩めることなく、主指先１１を静止させたまま副指先１１’を矢印２６で示す方向に主指先１１の廻りを回転移動させると、制御部１５は、図１０（ｂ）の（ニ）に示すように、▲印のマークで表わす強押圧の圧力重心位置２１が主指先タッチ位置１９の廻りを回転移動していくことを認識し、この回転移動とともに順次記憶部１６から点図２２の画像情報をその回転移動方向に応じた処理を行なってピンマトリクス３に表示させる。これにより、図１０（ａ）の（ニ）に示すように、点図２２は、主指先１１を押し付けている位置（主指先タッチ位置）を中心として回転し、表示状態が変化する。
なお、副指先１１’を静止させ、主指先１１を副指先１１’を中心に回転移動させても、同様に点図２２が回転する。
このように、オペレータが主指先１１と副指先１１’で点図に強くタッチし、これら主指先１１と副指先１１’との少なくともいずれかを移動移動させることにより、表示される点図を回転させることができる。
図１１はオペレータの操作による点図の表示状態の第５の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３での主指先タッチ位置と圧力重心位置１４とのオペレータの操作による変化を示す図であり、２８は数値表示エリア、２９は上下境界線である。また、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図１１（ａ）の（イ）はピンマトリクス３にＡ，Ｂ，Ｃ，……欄の複数の数値表示エリアからなる点図２２が表示され、夫々の数値表示エリアに数値が表示されているが、ここでは、一例として、Ｂ欄の数値表示エリア２８を操作対象とし、これに、例えば、数値「３０００」が表示されているものとするとして説明する。また、ここでは、ピンマトリクス３に指先がタッチされていない状態としており、この場合には、図１１（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置も認識していない。
かかる状態で、例えば、主指先１１でこの数値表示エリア２８に触ってそこに表示される数値を確認した後、図１１（ａ）の（ロ）で示すように、オペレータがこの数値表示エリア２８の数値を変更操作するために、主指先１１でこの数値表示エリア２８を強く押圧すると、この主指先１１による押圧力ＰｓはＰ2≦Ｐｓとなり、制御部１５は、ビデオカメラ１０の出力により、図１１（ｂ）の（ロ）に示すように、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置とは一致する。
そして、かかる状態で、図１１（ａ）の（ハ）に示すように、さらに、ピンマトリクス３でのこの数値表示エリア２８よりも上側の部分を他の指先、即ち、副指先１１’で強く押圧する操作をすると、圧力センサ８ａ〜８ｄの検出出力で検出される圧力重心位置は指先１１，１１’の間に移り、これら指先１１，１１’による押圧力ＰｓがＰ2≦Ｐｓであると、制御部１５は、図１１（ｂ）の（ハ）に示すように、○印のマークで表わす主指先タッチ位置１９とは離れた▲印のマークで表わす強押圧の圧力重心位置２１を認識するとともに、強押圧状態にあることとも認識する。
ここで、この具体例では、図１１（ｂ）の（ハ）に示すように、主指先タッチ位置を示す○印マーク１９の中心を通るピンマトリクス３の横軸に平行な上下境界線２９が設定されており、制御部１５は、▲印のマークで表わす強押圧の圧力重心位置２１がこの上下境界線２９の上側にあるのか、下側にあるのかを判定する。この場合、▲印のマークで表わす強押圧の圧力重心位置２１は上下境界線２９の上側にあるから、制御部１５はこれを判定し、図１１（ａ）の（ハ）に示すように、数値表示エリア２８に表示される数値を所定値だけ増加させる。かかる数値の増加は、副指先１１’で、押圧力ＰｓがＰ2≦Ｐｓとなるように、強く押し込まれる毎に行なわれるものであり、ここでは、一例として、かかる押し込みが行なわれる毎に、「１０００」ずつ数値が増加していくものとしている。
また、図１１（ａ）の（ロ）に示す状態で、図１１（ａ）の（ニ）に示すように、さらに、ピンマトリクス３でのこの数値表示エリア２８よりも下側の部分を副指先１１’で強く押圧する操作をすると、圧力センサ８ａ〜８ｄの検出出力で検出される圧力重心位置は指先１１，１１’の間に移り、これら指先１１，１１’による押圧力ＰｓがＰ2≦Ｐｓであると、制御部１５は、図１１（ｂ）の（ニ）に示すように、○印のマークで表わす主指先タッチ位置１９とは離れた▲印のマークで表わす強押圧の圧力重心位置２１を認識するとともに、強押圧状態にあることとも認識する。
そして、この場合には、▲印のマークで表わす強押圧の圧力重心位置２１は上下境界線２９の下側にあるから、制御部１５はこれを判定し、図１１（ａ）の（ニ）に示すように、数値表示エリア２８に表示される数値を所定値だけ減少させる。かかる数値の減少も、副指先１１’で、押圧力ＰｓがＰ2≦Ｐｓとなるように、強く押し込まれる毎に行なわれるものであり、ここでも、一例として、かかる押し込みが行なわれる毎に、「１０００」ずつ数値が減少していくものとしている。
かかる表示状態の第５の具体例を用いる第１の実施形態としては、例えば、ＡＴＭ（現金自動預け払い機）などの金額の入金や出金などを取り扱う機器に適用できるものである。
図１２はオペレータの操作による点図の表示状態の第６の具体例を示す図であって、エレベータの操作部を例とするものであり、同図（ａ）はピンマトリクス３での点図かるなるフロア選択部のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はエレベータのフロア選択部での操作に応じた音声出力を示す図、同図（ｃ）はピンマトリクス３での主指先タッチ位置と圧力重心位置とのオペレータの操作による変化を示す図である。また、同図において、３０はエレベータ操作部、３１はフロア選択部、３２はフロア選択ボタン、３３はエレベータ位置表示部、３３ａは垂直バー、３３ｂはフロアバー、３３ｃは位置バー、３４はスピーカ、３５は音声メッセージであり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
また、図１３は図１２におけるエレベータ操作部３０の要部を拡大して示す図であり、図１２及び図２に対応する部分には同一符号をつけて重複する説明を省略する。
図１２（ａ）の（イ）はピンマトリクス３に点図でエレベータ操作部３０が表示された状態を示すものであって、エレベータ操作部３０は、各フロア（ここでは、一例として、１〜６階とする）を選択するための複数のフロア選択ボタン３２からなるフロア選択部３１とエレベータの現在位置を表わすエレベータ位置表示部３３とが設けられた構成が点図によって表わされ、また、エレベータ位置表示部３３は、高さ方向の垂直バー３３ａと、この垂直バー３３ａに各フロアを表わす水平方向の１〜複数の突出ピン１３ｂ（図２）からなるフロアバー３３ｂが設けられ、さらに、エレベータの現在位置を表わし、エレベータの上昇，下降移動とともに垂直バー３３ａに沿って移動可能な水平方向の１〜複数の突出ピン１３ｂ（図２）からなる位置バー３３ｃが設けられた構成が点図によって表わされている。
図１３（ａ）は操作されない状態でのフロア選択ボタン３２を拡大して示す図であって、フロアを表わす数値（ここでは、「３」としている）とこのフロア選択ボタン３２の枠部が突出ピン１３ｂで形成され、それら以外の部分が非突出ピンで形成されている。
図１２（ａ）の（イ）で示す状態は、ピンマトリクス３に指先がタッチされていない状態としており、この場合には、図１２（ｃ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置も認識していない。
かかる状態で、図１２（ａ）の（ロ）で示すように、主指先１１によりエレベータ操作部３０でのフロア選択部３１に触って各フロアのフロア選択ボタン３２を確認していくと、このときの押圧力ＰｓがＰ１≦Ｐｓ＜Ｐ２である場合（即ち、弱押圧状態で押圧している場合）、制御部１５は、図１２（ｃ）の（ロ）で示すように、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、△印のマークで表わす弱押圧の圧力重心位置２０と弱押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と弱押圧の圧力重心位置２０とは一致する。また、この場合、この第１の実施形態では、音声処理部やその出力部であるスピーカ３４も内蔵しており、制御部１５は、弱押圧状態で主指先１１がフロア選択ボタン３２を押圧したときには、その押圧期間、例えば、「三階を選択できます」といったような音声メッセージ３５をスピーカ３４から出力させる。
そして、オペレータが、所望のフロア（例えば、三階）のフロア選択ボタン３２が確認できて、この三階のフロア選択ボタン３２を指先１１で強く押し込むように選択操作すると、押圧力ＰｓがＰ2≦Ｐｓとなり、制御部１５は、ビデオカメラ１０の出力により、図１２（ｃ）の（ハ）に示すように、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
これにより、制御部１５は、選択操作された三階のフロア選択ボタン３２の表示形態を、図１２（ａ）の（ハ）に示すように、ピンの凹凸反転状態にする。図１３（ｂ）はかかる凹凸反転状態を示すものであり、図１２（ａ）の（ロ）でのフロア選択ボタン３２を拡大して示す図１３（ａ）における突出ピン１３ｂが非突出ピン１３ａに変換され、非突出ピン１３ａが突出ピン１３ｂに変換されるものである。従って、図１２（ａ）の（ロ）及び図１３（ａ）で突出ピン１３ｂで表わされていた三階を示す数値「３」が、図１２（ａ）の（ロ）及び図１３（ａ）では、凹凸反転により、非突出ピン１３ａで表わされるものである。但し、フロア選択ボタン３２の枠部は、常に突出ピン１３ｂで表わされている。
このように、フロア選択ボタン３２が選択操作されると、エレベータがこの選択された三階に到達するまで、このフロア選択ボタン３２は選択された凹凸反転状態で表示され続ける。エレベータがこの三階に到達すると、選択されたこのフロア選択ボタン３２は選択が解除され、もとの図１２（ａ）の（ロ）及び図１３（ａ）に示す表示状態に戻る。
また、フロア選択ボタン３２が選択操作されると、制御部１５は、スピーカ３４から、例えば、「三階を選択しました」といったような音声メッセージ３５を出力させる。
このようにして、オペレータは、視覚によらずに、所望とするフロアを容易に選択操作することができるようになるし、一度選択されたフロアのフロア選択ボタンは、それが解除されるまで、触知が容易な選択された状態に保持されるものであるから、選択されたことが容易に確認できることになる。
さらに、上記のように、三階のフロア選択ボタン３２が選択され、エレベータが上昇または下降すると、図１２（ａ）の（ニ）に示すように、これとともに、エレベータ位置表示部３３で位置バー３３ｃが垂直バー３３ａに沿って上昇または下降する。図１３（ｃ）はエレベータ位置表示部３３の一部を拡大して示すものであって、ここでは、これら垂直バー３３ａ，フロアバー３３ｂ及び位置バー３３ｃが突出ピン１３ｂで表わされ、それ以外の部分が非突出ピン１３ａで表わされる。また、位置バー３３ｃの垂直バー３３ａに沿う移動は、制御部１５が、エレベータの駆動装置（例えば、図４（ｂ）での他の機能部１８）からのエレベータの移動情報に基づいて、位置バー３３ｃとなる１〜複数のピンの組を順番に突出ピン１３ｂの組としていくものである。これにより、オペレータがエレベータ位置表示部３３をいずれかの指先で触ることにより、エレベータが現在どこにあるかを触知することができる。
図１４はオペレータの操作によって文章のスクロールを可能とした点図の表示状態の第７の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３での主指先タッチ位置と圧力重心位置とのオペレータの操作による変化を示す図であり、３６は文章、３７Ｌは左スクロールボタン、３７Ｒは右スクロールボタンである。また、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
図１４（ａ）の（イ）は、制御部１５が記憶部１６から文書情報を読み出してピンマトリクス３に文章３６を点図で表示させているが、指先でタッチされていない状態を示すものであって、この場合には、図１４（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置も認識していない。また、このピンマトリクス３には、この文章３６を左方向，右方向にスクロールさせるための左スクロールボタン３７Ｌと右スクロールボタン３７Ｒとが突出ピン１３ｂ（図２）からなる点図で表示されている。これらは、その形状と向きにより、触ることによって識別できるようにしている。
かかる状態で、図１４（ａ）の（ロ）で示すように、オペレータが主指先１１で文章３６の部分に触れることにより、この文章３６の文字を触知することができる。従って、主指先１１をこの文章３６に沿って移動させることにより、ピンマトリクス３に表示されている文章３６を読み取ることができる。
また、このときには、文章３６を読み取るだけのものであるから、主指先１１は文章３６の点図を弱く押圧して、主指先１１による押圧力ＰｓはＰ1≦Ｐｓ＜Ｐ2であり、制御部１５は、図１４（ｂ）の（ロ）に示すように、ビデオカメラ１０の出力により、ピンマトリクス３での主指先１１による○印のマークで表わす主指先タッチ位置１９（マーカ１２の位置）を認識するとともに、圧力センサ８ａ〜８ｄの出力により、△印のマークで表わす弱押圧の圧力重心位置２０と弱押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と弱押圧の圧力重心位置２０とは一致する。
かかる状態で、図１４（ａ）の（ハ）に示すように、例えば、副指先１１’で右スクロールボタン３７Ｒを強く押圧し、これら指先１１，１１’による押圧力ＰｓがＰ2≦Ｐｓとなると、制御部１５は、図１４（ｂ）の（ハ）に示すように、○印のマークで表わす主指先タッチ位置１９から離れた▲印のマークで表わす強押圧の圧力重心位置２１を認識するとともに、強押圧状態にあることとも認識する。
このように、副指先１１’が右スクロールボタン３７Ｒをかかる強押圧状態で押し込んでいるときには、制御部１５は、図１４（ｂ）の（ハ）に示す▲印のマークで表わす強押圧の圧力重心位置２１が右スクリーンボタン３７Ｒの位置に対応する位置にあると判定し、従って、右スクリーンボタン３７Ｒが操作されているものと判定する。これにより、制御部１５は、この右スクリーンボタン３７Ｒが操作されている限り、記憶部１６から順次文書情報を読み取り、ピンマトリクス３に表示させる。これにより、ピンマトリクス３では、その右側から順次新たな文字が現れてくるように、文章３６が左方向にスクロールされる。従って、主指先１１でこの文章３６に触れているだけで、順次この文章３６を触知し、読み取ることができる。
なお、副指先１１’で左スクロールボタン３７Ｌを、上記のように、強押圧状態で押し込んだ場合には、文章３６は左方向にスクロールする。これにより、文章３６を前の方に戻すようにすることができる。
また、押圧力Ｐｓ（但し、Ｐ2≦Ｐｓ）の大きさに応じてスクロールの速度を可変とするようにしてもよい。
さらに、文章３６を読み取るのは、副指先１１’とし、主指先１１で右スクリーンボタン３７Ｒ，左スクロールボタン３７Ｌを操作するようにしてもよい。この場合には、制御部１５は、主指先１１のマーカ１２の位置、即ち、主指先タッチ位置１９によって右スクリーンボタン３７Ｒ，左スクロールボタン３７Ｌが操作されているか否かを判定する。
図１５はこの第１の実施形態を音声再生装置の操作部に適用した場合のオペレータの操作による点図の表示状態の第８の具体例を示す図であって、同図（ａ）はピンマトリクス３での点図のオペレータの操作による表示状態の変化を示す図、同図（ｂ）はピンマトリクス３での主指先タッチ位置と圧力重心位置とのオペレータの操作による変化を示す図であり、３８は音量調整部、３９は音量調整バー、４０は進行状況表示部、４１は進行状況表示バー、４２はタイトル、４３は停止ボタン、４４は再生ボタン、４５は巻き戻しボタン、４６は早送りボタン、４７は一時停止ボタンである。また、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
また、図１６は図１５における音量調整部３８の要部を拡大して示す図であって、前出図面に対応する部分には同一符号をつれて重複する説明を省略する。
図１５（ａ）の（イ）は、制御部１５が記憶部１６から操作部の画面を読み取り、ピンマトリクス３に点図として表示した状態を示すものであって、この操作部には、再生中の、例えば、音楽のタイトル４２や停止ボタン４３，再生ボタン４４，巻き戻しボタン４５，早送りボタン４６，一時停止ボタン４７が点図で表示され、また、音量調整部３８や進行状況表示部４０も点図で表示されいる。これらの操作ボタン４３〜４７は、その形状，向きなどにより、触ることによって認識できる。
音量調整部３８では、音量調整バー３９が設けられており、この音量調整バー３９を移動操作することにより、再生されている音楽などの音声の音量を調整することができる。また、進行状況表示部４０にも、進行状況表示バー４１が設けられているが、この進行状況表示バー４１は、音声の再生の進行とともに移動するものであって、音声の再生の進行状況が表示される。
図１５（ａ）の（イ）に示す状態では、図１５（ｂ）の（イ）で示すように、制御部１５（図４）は主指先タッチ位置も圧力重心位置も認識していない。
いま、再生状態にあって、図１５（ａ）の（ロ）に示すように、主指先１１で音量調整部３８の音量調整バー３９の部分を、押圧力ＰｓがＰ2≦Ｐｓとなるように、強く押圧操作すると、制御部１５が、図１５（ｂ）の（ロ）に示すように、○印のマークで表わす主指先タッチ位置１９を認識するとともに、圧力センサ８ａ〜８ｄの出力により、▲印のマークで表わす強押圧の圧力重心位置２１と強押圧状態にあることとを認識する。この場合、これら主指先タッチ位置１９と強押圧の圧力重心位置２１とは一致する。
そして、強押圧状態を保ったまま、図１５（ａ）の（ハ）に示すように、主指先１１を音量調整部３８に沿って移動させると、制御部１５は、図１５（ｂ）の（ハ）に示すように、○印のマークで表わす主指先タッチ位置１９と▲印のマークで表わす強押圧の圧力重心位置２１とが移動したことを認識し、これにより、音量調整バー３９が主指先１１とともに移動し、音量が変化する。
ここで、音量調整部３８は、図１６に示すように、図１３（ｃ）に示すエレベータ位置表示部３３と同様、突出ピン１３ｂで表わされているものであり、音量調整バー３９は１〜複数のピンの組からなるものである。そして、音量調整バー３９の移動は、制御部１５が、○印のマークで表わす主指先タッチ位置１９と▲印のマークで表わす強押圧の圧力重心位置２１との移動に基づいて、音量調整バー３９となる１〜複数のピンの組を順番に突出ピン１３ｂの組としていくものである。これにより、オペレータが主指先１１を音量調整バー３９を強く押圧して移動させることにより、音量調整バー３９が移動して音量が調整できることになる。
このように、音量調整バー３９の位置を触知することができ、これにより、現在の音量を認識できて調整することができる。
以上のように、この第１の実施形態では、ピンマトリクス３上での再帰反射材からなるマーカ１２の位置（主指先タッチ位置）と押圧重心位置と押圧状態とを検出する検出手段（ビデオカメラ１０と圧力センサ８ａ〜８ｄ）とを備え、このピンマトリクス３で表示される点図に応じた操作状態を、検出されるかかる主指先タッチ位置と押圧重心位置と押圧状態により、制御部が判定し、ピンマトリクス３に表示される点図を制御するものであるから、視覚に依らなくとも、指先の触知だけでもって、ピンマトリクス３での所望の操作を容易に、かつ確実に行なうことが可能となる。
視覚によらずに操作を行なう場合には、主指先のみでなく、副指先や、さらに、他の指先を用いて操作面（点図表示画面）を確認することが多くある。この実施形態によれば、通常のタッチパネルのように、最初に触れた位置に応じて操作が実行されてしまうのではなく、主指先の位置や押圧箇所の重心位置により対応する操作が実行されるため、オペレータは安心して操作面に自由に触れて表示内容を確認することができる。
図１７は本発明による点図ディスプレイ装置の第２の実施形態を概略的に示す構成図であって、同図（ａ）はその全体構成を概略的に示す斜視図、同図（ｂ）はその縦断面図であり、５ａ，５ｂは保持部、１０ａはビデオカメラである。また、図１に対応する部分には同一符号をつけて重複する説明を省略する。
図１７（ａ），（ｂ）において、装置本体１の上面の一辺側に間隔を置いて２つの保持部５ａ，５ｂが設けられており、夫々の保持部５ａ，５ｂにビデオカメラと１または複数の赤外線ＬＥＤとが内蔵されている。図１７（ｂ）は保持部５ａ側の断面を示すものであって、この保持部５ａにビデオカメラ１０ａと赤外線ＬＥＤ９とが保持されていることを示している。
保持部５ａ，５ｂの赤外線ＬＥＤ９夫々はピンマトリクス３の全領域に赤外線を斜め下向きに照射し、また、保持部５ａのビデオカメラ１０ａと保持部５ｂのビデオカメラとは夫々、ピンマトリクス３上に主指先１１に取り付けられた再帰反射材からなるマーカ１２が存在するとき、このマーカ１２で反射された赤外線を受光して撮影する。これら２つのビデオカメラの撮影結果から、ピンマトリクス３上でのマーカ１２の位置を検出するものである。
図１８は図１７に示す第２の実施形態でのマーカ１２の位置（即ち、主指先タッチ位置）の検出方法を示す図であって、１０ｂは保持部５ｂに保持されるビデオカメラ、４８は基線であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
同図において、いま、再帰反射材によるマーカ１２がピンマトリクス３上のＳ1点に位置しているものとすると、ビデオカメラ１０ａが、このビデオカメラ１０ａに近接した赤外線ＬＥＤ９から照射され、このマーカ１２で反射された赤外線を受光することにより、この赤外線の受光方向、即ち、Ｓ1点でのマーカ１２の方向を検出する。この方向としては、例えば、２つのビデオカメラ１０ａ，１０ｂの撮像面の中心を結ぶ直線を基線４０として、この基線４０からビデオカメラ１０ａで受光する赤外線の光軸までの角度θ1で表わされるものとする。同様にして、ビデオカメラ１０ｂが、このビデオカメラ１０ｂに近接した赤外線ＬＥＤ９から照射され、このマーカ１２で反射された赤外線を受光することにより、この赤外線の受光方向、即ち、Ｓ1点でのマーカ１２の方向を検出する。この方向は、この基線４０からビデオカメラ１０ｂで受光する赤外線の光軸までの角度θ2で表わされるものとする。これにより、このときのマーカ１２の位置、即ち、Ｓ1点は角度座標（θ1，θ2）で表わされる。
同様にして、マーカ１２がピンマトリクス３上のＳ2点に位置しているときには、ビデオカメラ１０ａによってこのマーカ１２の方向が角度θ1’として検出され、ビデオカメラ１０ａによってこのマーカ１２の方向が角度θ1’として検出されるものとすると、このマーカ１２の位置は、角度座標（θ1’，θ2’）で表わされる。
このように、マーカ１２のピンマトリクス３上での位置に応じて、検出されるマーカ１２の角度座標が異なるものであり、この角度座標とピンマトリクス３上の位置とは一対一に対応する。そこで、制御部１５が、この角度座標とピンマトリクス３条の位置との対応テーブルを備え、このテーブルをもとにビデオカメラ１０ａ，１０ｂの検出出力によって検出される角度座標をピンマトリクス３上の位置に変換することにより、先の対応付けのテーブルをもとに、マーカ１２がピンマトリクス３に表示される点図の範囲内にあるか否かを判定することができる。
以上の構成以外の構成については、先の図１〜図１６で説明した第１の実施形態と同様であり、先の第１の実施形態と同様の効果が得られる。
図１９は本発明による点図ディスプレイ装置の第２の実施形態を概略的に示す構成図であって、同図（ａ）はその縦断面図、同図（ｂ）は画面の表示状態を示す斜視図、同図（ｃ）はそのピンマトリクスでの表示状態を示す図であり、４９はプロジェクタ、５０は投影スクリーンである。また、図１に対応する部分には同一符号をつけて重複する説明を省略する。
図１９（ａ）において、支持部４で支持される保持部５には、ビデオカメラ１０と１または複数の赤外線ＬＥＤ９に加え、プロジェクタ４９が保持されており、また、点図ディスプレイ本体６の表示部６には、少なくともピンマトリクス３の全体を覆うように、投影スクリーン５０が設けられている。この投影スクリーン５０は、布地やストッキング地などの伸縮性に富んだカバーであって、この投影スクリーン５０の直下のピンマトリクス３に、図１９（ｃ）に示すように、表示された点図をこの投影スクリーン５０の上から指先で触っても、この点図を触知できるようにするものである。
保持部５に設けられたプロジェクタ４９は、図１９（ｂ）に示すように、この投影スクリーン５０に文字や図形，地図，画像などを表示するものである。ピンマトリクス３の点図が、先に説明した図１１〜図１６に示す具体例でのタッチボタンを表わしている場合には、タッチボタンの点図毎に、その表示位置に、タッチボタンの種類を表わす文字列を投影するようにすることもできる。この場合には、タッチボタンの種類を、視覚によっても、認識することができる。かかる文字とともに、図形（例えば、上記のエレベータの操作部など）や地図（特に、カーナビゲーション装置の場合），画像などを同時に投影スクリーン５０に投影するようにしてもよいし、ピンマトリクス３に表示される点画に依存しない文字列を表示するようにすることもできる。また、図形としても、ピンマトリクス３に表示される図形的な点図の輪郭を表わすものであってもよい。
これ以外の構成は、図１〜図１６で説明した第１の実施形態と同様である。
このように、この第３の実施形態では、先の第１の実施形態と同様の効果が得られるとともに、触知によって点図からなる操作部の操作を行なうことが可能となるとともに、視覚的によって認識可能な文字，図形，地図，画像などを表示させることができ、画面を見ながらの操作も可能となる。
以上、本発明の実施形態について説明したが、本発明はこれら実施形態にのみ限定されるものではない。
例えば、上記各実施形態では、ピンマトリクス３での主指先タッチ位置を主指先に取り付けたマーカによって検出するものであったが、上記のビデオカメラによって検出する反射赤外線の画像の画像認識処理により、主指先を認識してそのタッチ位置を特定することにより、再帰反射材からなるマーカを用いることなく、主指先タッチ位置を検出するようにすることが可能である。
また、主指先の位置の特定と圧力センサによる押圧力の検知によっても、上記各実施形態を実現可能であり、圧力センサは１個でもよい。例えば、図７及び図８に示すように、主指先１１でのみ操作を行なう場合には、主指先の位置が押圧力の重心位置となるので、圧力センサによる押圧力の重心位置の検出は必要でなくなり、圧力センサとしては、押圧力を検出するだけの１つの圧力センサを用いればよい。
本発明による点図ディスプレイ装置の第１の実施形態を概略的に示す構成図である。 図１におけるピンマトリクスの一具体例を概略的に示す図である。 図１におけるピンマトリクスでの圧力重心位置の検出方法を示す説明図である。 図１に示す点図ディスプレイ装置１が有するシステムの具体例を示すブロック図である。 図４における制御部で検出される押圧重心位置での押圧力Ｐｓとオペレータの操作との関係を示す図である。 図４に示す制御部による図５に基づくピンマトリクスでの指先の押圧状態とその認識状態との関連を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第１の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第２の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第３の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第４の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第５の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第６の具体例を示す図である。 図１２におけるフロア選択部の要部を拡大して示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第７の具体例を示す図である。 図４に示すシステムを備えた図１に示す第１の実施形態でのオペレータの操作によるピンマトリクスでの点図の表示状態の第８の具体例を示す図である。 図１５における音量調整部の要部を拡大して示す概略斜視図である。 本発明による点図ディスプレイ装置の第２の実施形態を概略的に示す構成図である。 図１７に示す第２の実施形態でのマーカの位置（即ち、主指先タッチ位置）の検出方法を示す図である。 本発明による点図ディスプレイ装置の第３の実施形態を概略的に示す外観斜視図である。
符号の説明
１ 装置本体
２ 表示部
３ ピンマトリクス
４ 支持体
５，５ａ，５ｂ 保持部
６ 点図ディスプレイ本体
７ 筐体
８，８ａ〜８ｄ 圧力センサ
９ 赤外線ＬＥＤ
１０，１０ａ，１０ｂ ビデオカメラ
１１，１１’ 指先
１２ 再帰反射材
１３，１３ａ，１３ｂ ピン
１４ 圧力重心位置
１５ 制御部
１６ 記憶部
１７ 接続部
１８ 他の機能部
１９ 主指先タッチ位置
２０ 弱押圧状態の圧力重心位置
２１ 強押圧状態の圧力重心位置
２２ 点図
２４ 点図（ダイヤル）
２７ 回転方向を示す矢印
数値表示エリア
２９ 上下境界線
３０ エレベータ操作部
３１ フロア選択部
３２ フロア選択ボタン
３３ エレベータ位置表示部
３３ａ 垂直バー
３３ｂ フロアバー
３３ｃ 位置バー
３４ スピーカ
３５ 音声メッセージ
３６ 文章
３７Ｌ 左スクロールボタン
３７Ｒ 右スクロールボタン
３８ 音量調整部
３９ 音量調整バー
４０ 進行状況表示部
４１ 進行状況表示バー
４２ タイトル
４３ 停止ボタン
４４ 再生ボタン
４５ 巻き戻しボタン
４６ 早送りボタン
４７ 一時停止ボタン
４８ 基線
４９ プロジェクタ
５０ 投影スクリーン

Claims (12)

  1. 点図ディスプレイ本体の上面に複数のピンがマトリクス状に配列されてなるピンマトリクスに点図を表示し、該ピンマトリクスに指先で触れることにより、該点図を触知できるようにした点図ディスプレイ装置において、
    該ピンマトリクスの表面に赤外線を照射する赤外線ＬＥＤと、
    反射される該赤外線を受光し、該ピンマトリクスを押圧する主指先に取り付けられた再帰反射材からなるマーカからの反射赤外線を検出するビデオカメラと、
    該ピンマトリクスへの押圧力を検出する圧力センサと、
    該ビデオカメラによる該マーカからの反射赤外線の検出結果から該主指先による該ピンマトリクスのタッチ位置を主指先タッチ位置として検出し、かつ該圧力センサの検出圧力から該ピンマトリクスでの押圧力を検出する制御部と
    を備え、
    該制御部は、
    検出した該押圧力が予め決められた閾値以上のとき、該ピンマトリクスに対してタッチ操作がなされたと判定し、該タッチ操作に応じて該ピンマトリクスに表示した該点図に対する表示制御を実行し、
    さらに、該押圧力が該閾値以上であって、かつ該主指先タッチ位置が該点図の範囲内にあるとき、該主指先以外の指先で該ピンマトリクスを押圧することにより変化する該ピンマトリクスでの圧力重心位置に応じて、該ピンマトリクスに表示される該点図を変化させる
    ことを特徴とする点図ディスプレイ装置。
  2. 点図ディスプレイ本体の上面に複数のピンがマトリクス状に配列されてなるピンマトリクスに点図を表示し、該ピンマトリクスに指先で触れることにより、該点図を触知できるようにした点図ディスプレイ装置において、
    該ピンマトリクスの表面に赤外線を照射する赤外線ＬＥＤと、
    反射される該赤外線を受光し、該ピンマトリクスを押圧する主指先に取り付けられた再帰反射材からなるマーカからの反射赤外線を検出するビデオカメラと、
    該ピンマトリクスへの押圧力を検出する複数の圧力センサと、
    該ビデオカメラによる該マーカからの反射赤外線の検出結果から該主指先による該ピンマトリクスのタッチ位置を主指先タッチ位置として検出し、かつ該複数の圧力センサの検出圧力から該ピンマトリクスでの押圧による圧力重心位置と押圧力とを検出する制御部と
    を備え、
    該制御部は、
    検出した該押圧力が予め決められた閾値以上のとき、該ピンマトリクスに対してタッチ操作がなされたと判定し、該タッチ操作に応じて該ピンマトリクスに表示した該点図に対する表示制御を実行し、
    さらに、該押圧力が該閾値以上であって、かつ該主指先タッチ位置が該点図の範囲内にあるとき、該主指先以外の指先で該ピンマトリクスを押圧することにより変化する該ピンマトリクスでの圧力重心位置に応じて、該ピンマトリクスに表示される該点図を変化させる
    ことを特徴とする点図ディスプレイ装置。
  3. 請求項２において、
    前記ビデオカメラは第１，第２のビデオカメラであって、該第１，第２のカメラ毎に前記赤外線ＬＥＤが設けられ、
    前記制御部は、該第１のビデオカメラによる前記マーカからの反射赤外線の検出結果から該第１のビデオカメラからの前記マーカの方向を検出するとともに、該第２のビデオカメラによる前記マーカからの反射赤外線の検出結果から該第２のビデオカメラからの前記マーカの方向を検出して、該第１のビデオカメラからの前記マーカの方向と該第２のビデオカメラからの前記マーカの方向とから前記ピンマトリクスの主指先タッチ位置を検出することを特徴とする点図ディスプレイ装置。
  4. 請求項１〜３のいずれか１つにおいて、
    前記ピンマトリクス全体を覆う投影スクリーンと、
    該投影スクリーンに文字や図形，地図，画像などを投影するプロジェクタと
    を設けたことを特徴とする点図ディスプレイ装置。
  5. 請求項１または２において、
    前記制御部は、前記主指先による前記押圧力が前記閾値以上であって、かつ前記主指先タッチ位置と前記圧力重心位置とが前記点図の範囲内にあるとき、前記主指先タッチ位置と圧力重心位置との移動とともに前記点図を移動もしくは回転させる制御を行なうことを特徴とする点図ディスプレイ装置。
  6. 請求項１または２において、
    前記制御部は、前記押圧力が前記閾値以上であって、かつ前記主指先タッチ位置と前記圧力重心位置とが前記点図の範囲内にあるとき、前記主指先タッチ位置と前記圧力重心位置との間の距離に応じて、前記点図の大きさを変化させる制御を行なうことを特徴とする点図ディスプレイ装置。
  7. 請求項１または２において、
    前記制御部は、前記押圧力が前記閾値以上であって、かつ前記主指先タッチ位置と前記圧力重心位置とが前記点図の範囲内にあるとき、前記主指先タッチ位置を中心として前記圧力重心位置が回転移動するとともに、前記点図を前記主指先タッチ位置を中心に回転させる制御を行なうことを特徴とする点図ディスプレイ装置。
  8. 請求項１または２において、
    前記ピンマトリクスに表示される点図が数値を表わす複数の数値表示エリアであって、
    前記制御部は、前記押圧力が前記閾値以上であって、かつ前記主指先タッチ位置が該数値表示エリアのうちの所定の数値表示エリアの点図の範囲内にあるとき、前記主指先以外の指先で前記ピンマトリクスを押圧することによる前記圧力重心位置の該所定の数値表示エリアに対する位置に応じて、該所定の数値表示エリアで表示される数値を変化させる制御を行なうことを特徴とする点図ディスプレイ装置。
  9. 請求項１または２において、
    前記ピンマトリクスに表示される点図は、複数のフロア選択ボタンを有するエレベータの操作部を表わすものであって、
    前記制御部は、前記主指先タッチ位置が所定の該フロア選択ボタンの点図の範囲内にあって、前記主指先による前記押圧力が前記閾値以上であるとき、所定の該フロア選択ボタンでフロアが指定されたものと判定し、エレベータを該指定されたフロアに移動させるための指令をエレベータ装置に出力することを特徴とする点図ディスプレイ装置。
  10. 請求項９において、
    前記フロア操作部には、前記点図によって各フロアを表わすフロアバーとエレベータの位置を表わす位置バーとを有するエレベータ位置表示部が設けられており、
    前記制御部は、エレベータの移動とともに、該エレベータ位置表示部での該位置バーを移動させる制御を行なうことを特徴とする点図ディスプレイ装置。
  11. 請求項１または２において、
    前記ピンマトリクスに表示される点図は、文字列からなる文章と該文章をスクロールさせるためのスクロールボタンとからなり、
    前記制御部は、前記圧力重心位置が該スクロールボタンの点図の範囲内にあるとき、該文字をスクロールさせる制御を行なうことを特徴とする点図ディスプレイ装置。
  12. 請求項１または２において、
    前記ピンマトリクスに表示される点図は、音声再生装置の音量調整部や操作ボタンを有する操作部を表わすものであって、
    制御部は、前記主指先タッチ位置が該音量調整部の音量調整バーの位置にあって、前記主指先による前記押圧力が前記閾値以上であるとき、該主指先タッチ位置の移動に応じて、該音声再生装置での再生音量を変化させる制御を行なうことを特徴とする点図ディスプレイ装置。
JP2006248941A 2006-09-14 2006-09-14 点図ディスプレイ装置 Expired - Fee Related JP4294668B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006248941A JP4294668B2 (ja) 2006-09-14 2006-09-14 点図ディスプレイ装置
US11/710,515 US20080068343A1 (en) 2006-09-14 2007-02-26 Tactile pin display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006248941A JP4294668B2 (ja) 2006-09-14 2006-09-14 点図ディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2008071102A JP2008071102A (ja) 2008-03-27
JP4294668B2 true JP4294668B2 (ja) 2009-07-15

Family

ID=39188078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006248941A Expired - Fee Related JP4294668B2 (ja) 2006-09-14 2006-09-14 点図ディスプレイ装置

Country Status (2)

Country Link
US (1) US20080068343A1 (ja)
JP (1) JP4294668B2 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903090B2 (en) * 2005-06-10 2011-03-08 Qsi Corporation Force-based input device
US20060284856A1 (en) * 2005-06-10 2006-12-21 Soss David A Sensor signal conditioning in a force-based touch device
US20080170043A1 (en) * 2005-06-10 2008-07-17 Soss David A Force-based input device
US7337085B2 (en) 2005-06-10 2008-02-26 Qsi Corporation Sensor baseline compensation in a force-based touch device
JP2009545817A (ja) * 2006-07-31 2009-12-24 キュー・エス・アイ・コーポレーション 高くされた接触面を有する感圧式入力装置
JP4886560B2 (ja) * 2007-03-15 2012-02-29 キヤノン株式会社 情報処理装置、情報処理方法
US20080289885A1 (en) * 2007-05-22 2008-11-27 Elwell James K Force-Based Input Device Having a Dynamic User Interface
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
CN102160021B (zh) * 2008-09-17 2014-07-09 日本电气株式会社 输入单元及其控制方法和具有输入单元的电子装置
JP5448427B2 (ja) * 2008-11-27 2014-03-19 三菱電機株式会社 入力装置
US8665216B2 (en) * 2008-12-03 2014-03-04 Tactile World Ltd. System and method of tactile access and navigation for the visually impaired within a computer system
US20100149100A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Electronic Devices, Systems, Methods and Computer Program Products for Detecting a User Input Device Having an Optical Marker Thereon
JP4522475B1 (ja) * 2009-03-19 2010-08-11 Ｓｍｋ株式会社 操作入力装置、制御方法、およびプログラム
JP5146389B2 (ja) * 2009-04-03 2013-02-20 ソニー株式会社 情報処理装置、および推定方法
IT1397268B1 (it) * 2009-12-01 2013-01-04 Spazio Visivo Soc Coop A R L Sistema di cognizione di opere artistiche dotato di dispositivi multisensoriali.
JP5449403B2 (ja) * 2009-12-28 2014-03-19 パナソニック株式会社 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
FR2955689B1 (fr) * 2010-01-28 2012-02-10 Eurobraille Dispositif de commande d'un afficheur braille, afficheur braille et procede de commande associe
US9164605B1 (en) * 2010-02-03 2015-10-20 Cypress Semiconductor Corporation Force sensor baseline calibration
TWI490754B (zh) * 2010-08-27 2015-07-01 Hon Hai Prec Ind Co Ltd 光學觸控裝置
KR101025722B1 (ko) * 2010-10-01 2011-04-04 미루데이타시스템 주식회사 압력센서가 구비된 적외선 방식 터치 입력장치
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US10917431B2 (en) 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US20240080339A1 (en) * 2010-11-29 2024-03-07 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10262324B2 (en) 2010-11-29 2019-04-16 Biocatch Ltd. System, device, and method of differentiating among users based on user-specific page navigation sequence
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10685355B2 (en) 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10404729B2 (en) 2010-11-29 2019-09-03 Biocatch Ltd. Device, method, and system of generating fraud-alerts for cyber-attacks
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10069837B2 (en) * 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US10298614B2 (en) * 2010-11-29 2019-05-21 Biocatch Ltd. System, device, and method of generating and managing behavioral biometric cookies
FI124527B (fi) * 2010-12-30 2014-09-30 Kone Corp Kosketusnäyttö
JP5388238B2 (ja) * 2011-07-06 2014-01-15 Ｎｅｃシステムテクノロジー株式会社 触覚表示装置、触覚表示方法およびプログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013081894A1 (en) 2011-11-28 2013-06-06 Corning Incorporated Optical touch-screen systems and methods using a planar transparent sheet
WO2013081896A1 (en) 2011-11-28 2013-06-06 Corning Incorporated Robust optical touch-screen systems and methods using a planar transparent sheet
JP5773213B2 (ja) * 2011-12-27 2015-09-02 アイシン・エィ・ダブリュ株式会社 操作入力システム
JP5743158B2 (ja) * 2012-03-26 2015-07-01 アイシン・エィ・ダブリュ株式会社 操作入力システム
JP5704411B2 (ja) * 2012-03-26 2015-04-22 アイシン・エィ・ダブリュ株式会社 操作入力システム
US9880653B2 (en) 2012-04-30 2018-01-30 Corning Incorporated Pressure-sensing touch system utilizing total-internal reflection
US9977499B2 (en) * 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
US9952719B2 (en) 2012-05-24 2018-04-24 Corning Incorporated Waveguide-based touch system employing interference effects
WO2013188307A2 (en) 2012-06-12 2013-12-19 Yknots Industries Llc Haptic electromagnetic actuator
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US20140210770A1 (en) 2012-10-04 2014-07-31 Corning Incorporated Pressure sensing touch systems and methods
US9619084B2 (en) 2012-10-04 2017-04-11 Corning Incorporated Touch screen systems and methods for sensing touch screen displacement
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US9285623B2 (en) 2012-10-04 2016-03-15 Corning Incorporated Touch screen systems with interface layer
US9134842B2 (en) 2012-10-04 2015-09-15 Corning Incorporated Pressure sensing touch systems and methods
WO2014058005A1 (ja) * 2012-10-11 2014-04-17 アルプス電気株式会社 入力装置及び前記入力装置を用いた複数点の荷重検出方法
US9304587B2 (en) 2013-02-13 2016-04-05 Apple Inc. Force sensing mouse
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
FR3024912B1 (fr) 2014-08-18 2018-09-28 Inside Vision Dispositif notamment pour afficheur destine a des malvoyants et afficheur comportant un tel dispositif
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
JP6494251B2 (ja) * 2014-11-13 2019-04-03 サカタインクス株式会社 電子情報機器およびその操作方法
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
CN104991637A (zh) * 2015-05-19 2015-10-21 浙江大学 一种近距离非接触式的电梯按键面板及其控制方法
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
JP6625372B2 (ja) * 2015-08-27 2019-12-25 株式会社デンソーテン 入力装置および車載装置
US10365736B2 (en) 2015-09-15 2019-07-30 Visteon Global Technologies, Inc. Morphing pad, system and method for implementing a morphing pad
WO2017047180A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
US10198122B2 (en) * 2016-09-30 2019-02-05 Biocatch Ltd. System, device, and method of estimating force applied to a touch surface
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
US10397262B2 (en) 2017-07-20 2019-08-27 Biocatch Ltd. Device, system, and method of detecting overlay malware
CN107528941A (zh) * 2017-08-30 2017-12-29 努比亚技术有限公司 卡连接组件、移动终端及操作响应方法
US10725574B2 (en) 2018-01-02 2020-07-28 Stmicroelectronics Asia Pacific Pte Ltd Methods and techniques for correcting pressure sensor data in the presence of abnormal pressure sensor readings
WO2019150475A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 タッチパネル装置
CN109145792A (zh) * 2018-08-09 2019-01-04 钧安科技（深圳）有限公司 双指定形指静脉识别装置及方法
US11930240B2 (en) * 2020-11-11 2024-03-12 Motorola Mobility Llc Media content recording with sensor data
CN114691061A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在扩展显示屏幕记录期间管理的个人内容
CN114691060A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在设备屏幕记录期间管理的个人内容
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791536B2 (en) * 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
JP4500485B2 (ja) * 2002-08-28 2010-07-14 株式会社日立製作所 タッチパネルを備えた表示装置
JP4125200B2 (ja) * 2003-08-04 2008-07-30 キヤノン株式会社 座標入力装置
US8531392B2 (en) * 2004-08-04 2013-09-10 Interlink Electronics, Inc. Multifunctional scroll sensor
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP5226667B2 (ja) * 2006-04-27 2013-07-03 オーチス エレベータ カンパニー 群エレベータシステムにおける大型物品の輸送

Also Published As

Publication number Publication date
US20080068343A1 (en) 2008-03-20
JP2008071102A (ja) 2008-03-27

Similar Documents

Publication Publication Date Title
JP4294668B2 (ja) 点図ディスプレイ装置
JP4039344B2 (ja) タッチパネルを備えた表示装置
US7312791B2 (en) Display unit with touch panel
CN109564495B (zh) 显示装置、存储介质、显示方法及控制装置
TWI534661B (zh) 畫像辨識裝置及操作判定方法以及電腦程式
CN101379455B (zh) 输入装置及其方法
KR101180218B1 (ko) 터치스크린과 디지털 촉각 픽셀들을 구비한 휴대용 장치
JP4568310B2 (ja) タッチパネルを備えた表示装置
US7271795B2 (en) Intuitive mobile device interface to virtual spaces
CN105589594B (zh) 电子装置和电子装置的操作控制方法
JP2008009759A (ja) タッチパネル装置
KR20120085774A (ko) 컴퓨터 장치의 원격 제어
US9544556B2 (en) Projection control apparatus and projection control method
JP2000298544A (ja) 入出力装置と入出力方法
TW201403391A (zh) 遠端互動系統及其控制
JP2007172303A (ja) 情報入力システム
JP2005196530A (ja) 空間入力装置及び空間入力方法
US20040155863A1 (en) User interface device without imposing strain on eyesight
US9671881B2 (en) Electronic device, operation control method and recording medium
US9703410B2 (en) Remote sensing touchscreen
JP2002236550A (ja) 画面位置入力方法および装置
JP2006302029A (ja) 表示装置制御プログラム、表示装置制御方法、表示装置
WO2021260989A1 (ja) 空中像表示入力装置及び空中像表示入力方法
JP6233040B2 (ja) 入力装置，表示制御方法，プログラム及び集積回路装置
JPH11203038A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees