JP6132361B2 - ユーザインタフェース装置 - Google Patents

Description

【技術分野】
【０００１】
本発明はユーザインタフェース装置に関し、特に、接触型画面を用いたものに適用し得るものである。
【背景技術】
【０００２】
従来から用いられているディスプレイとして接触型画面を有するいわゆるタッチスクリーンにおいては、ディスプレイの「軟らかさ」、「形状」は重要な要素であると考えられる。しかしながら、一般的なディスプレイは硬く平面的であり、接触時の触覚フィードバックに乏しい点や、立体的な映像表現が不得意である点等の問題があった。
【０００３】
これを解決するために、ピンマトリックス面に２次元画像を表示するディスプレイも提案されている（非特許文献１、特許文献１参照）。
【０００４】
例えば、特許文献１には、マトリックス状にピンが配された基板に、ディスプレイに表示された図形（２次元画像）が、レンズを介して、基板の下方から結像するようにした形状入出力装置が開示されている。
【０００５】
ここで、ピンはガラス、アクリル樹脂等の透明材料で構成されている。
【０００６】
これにより、上方からピンマトリックスを見て図形（２次元画像）を認識しながら、ピンマトリックスに対する３次元形状の入力が可能になる。
【０００７】
また、ディスプレイに柔軟性を持たせる研究が数多く進められてきた。
【０００８】
これらの研究では、ディスプレイの表面素材として布・砂・粘土・弾性体などの材質を用いることで、ディスプレイに柔軟性を与えるようにしてきた。
【０００９】
これにより、形状を自由に手で変化させることができるディスプレイや、軟らかい接触フィードバックを有するディスプレイが実現可能になってきた（例えば、非特許文献２）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平２−１７８７２０号公報
【非特許文献】
【００１１】
【非特許文献１】Leithinger, D. and Ishii, H. 2010. Relief: a scalable actuated shapedisplay. In Proceedings of the Fourth international Conference on Tangible,Embedded, and Embodied interaction (Cambridge, Massachusetts, USA, January 24 - 27, 2010). TEI ‘10. ACM, New York, NY, 221-222
【非特許文献２】B. Piper, C. Ratti, and H. Ishii. Illuminating clay: a 3-D tangibleinterface for landscape analysis. In Proc. of the CHI'02, pp. 355-362. ACM, 2002
【発明の概要】
【００１２】
非特許文献１、特許文献１に記載のピンマトリックス方式のディスプレイでは、多数のピンを制御する必要があり、ハードウェアが複雑・高価になりがちで、また、現実的に解像度を高めることが困難である。
【００１３】
さらに、ピンマトリックス方式のディスプレイでは、くびれやねじれを表現することは困難であった。
【００１４】
また、非特許文献２に記載の従来の柔軟なディスプレイでは、ディスプレイの柔軟性はディスプレイの表面素材として用いる材質の物理的性質に依存していたため、軟らかさの度合いは固定的であった。
【００１５】
そのため、例えば砂や粘土を用いた軟らかいディスプレイ上では、形状を維持したまま新たにタッチ入力やペン入力は行えない等の、1つのシステム上で実現可能な入出力手法が制限される問題があった。
【００１６】
また、従来の柔軟性のあるディスプレイでは、軟らかい素材を用いることでディスプレイ形状を変形させる能力を持たせることができても、変形させた形状を再び固定化させ、接触入力時の意図しない変形を避けることは困難であった。
【００１７】
本発明は以上の点を考慮してなされたもので、ユーザが、接触面の軟らかさを必要に応じて感じ取りながら、接触面に対する多様な３次元的加工を簡便にできるようにしたユーザインタフェース装置を提案しようとするものである。
【００１８】
かかる課題を解決するため、本発明においては、図1にその一態様を模式的に表したように、軟らかい膜材でなりかつユーザによってその表面に対して３次元的加工がなされる接触面部材１６を含む筐体１１と、筐体１１によって閉塞された軟らかさ調整部材収納部１３内に封止された、多数の軟らかさ調整用粒子を含む軟らかさ調整部材１２と、封止状態にある軟らかさ調整用粒子の相互間の接触圧の強弱に従って当該接触圧が変化することにより軟らかさ調整部材１２の軟らかさが変化することを利用して、軟らかさ調整用粒子相互間の接触圧を制御することにより、軟らかさ調整部材１２の上記接触面部材１６の軟らかさを調整する軟らかさ制御手段２４とを設けるようにする。
【００１９】
本発明によれば、接触面部材を含む筐体によって閉塞された軟らかさ調整部材収納部内に、軟らかさ調整用粒子を含む軟らかさ調整部材が封止され、軟らかさ制御手段が、当該粒子相互間の接触圧の変化に応じて、軟らかさ調整部材の軟らかさが変化することを利用して、ユーザの指定によって当該接触圧を制御することによって、接触面部材の軟らかさが調整される。これにより、ユーザは、接触面部材からの触感を得ながら、多様な３次元的加工を行うことができる。また、ユーザによって３次元的加工が行われる接触面部材および軟らかさ調整部材の軟らかさが可変となっているので、接触面部材および軟らかさ調整部材を加工しやすい軟らかさにしたり、加工により形成された３次元的形状を固定したり、加工前の状態に戻したりすることも自在にできるようになる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明によるユーザインタフェース装置の一態様である画像情報入力装置の基本的構成を示すブロック図である。
【図２】図２は、（Ａ）成形不可状態、（Ｂ）変形可能状態、（Ｃ）変形不可状態は、形状情報の入力手法の説明に供する略線図である。
【図３】図３は、第１の実施の形態を示すブロック図である。
【図４】図４は、（Ａ）成形不可状態、（Ｂ）変形可能状態、（Ｃ）変形不可状態は、図３の形状情報の入力の説明に供する略線図である。
【図５】図５は、図３の画像表示画面部の詳細構成を示す略線図である。
【図６】図６は、（Ａ）画像情報入力処理手順を示すフローチャートであり、（Ｂ）軟らかさ変更処理手順を示すフローチャートである。
【図７】図７は、第２の実施の形態を示すブロック図である。
【図８】図８は、図７の形状加工治具の説明に供する略線図である。
【図９】図９は、第３の実施の形態を示すブロック図である。
【図１０】図１０は、図９の画像表示画面部２の説明に供する略線図である。
【図１１】図１１は、形状加工処理手順を示すフローチャートである。
【図１２】図１２は、第４の実施の形態を示すブロック図である。
【図１３】図１３は、図１２の画像表示画面部２の説明に供する略線図である。
【図１４は】図１４は、描画状態設定処理手順を示すフローチャートである。
【図１５】図１５は、他の実施の形態を示す略線図である。
【図１６】図１６は、さらに他の実施の形態を示す略線図である。
【発明を実施するための形態】
【００２１】
以下、図面に基づいて、本発明のユーザインタフェース装置の実施の形態の例をいくつか詳述する。なお、以降の説明において、ユーザによる画像情報の入力には、画像表示画面である接触表示面への描画やテキスチャの付与、着色だけでなく、接触表示面に対する３次元形状の加工も含まれる。
【００２２】
（１）基本的構成
図１は本発明によるユーザインタフェース装置の一態様である画像情報入力装置１の基本的構成の一例を示すものである。図に示したように、画像情報入力装置１は、画像情報入力テーブル３、主制御部４、触覚入力受付部２１、表示制御部２２、軟らかさレベル指定部２３、軟らかさ制御部２４とから構成される。
【００２３】
画像情報入力テーブル３は、ここでは、剛性を有する筐体１１と接触表示面部材１６によって閉塞された軟らかさ調整部材収納部１３を有する。この軟らかさ調整部材収納部１３には、軟らかさ調整部材１２が封止されている。
【００２４】
軟らかさ調整部材１２には、剛性を有する多数の粒子が含まれている。この軟らかさ調整部材１２は、例えば、ガラスビーズと空気等の気体とから構成することができる。また、絶縁体の微粒子と絶縁液体とを用いた電気粘性流体や、磁性体粒子と界面活性剤とベース液とを用いた磁気粘性流体として構成してもよい。
【００２５】
接触表示面部材１６は、画像情報が入出力される画像表示画面部２として機能する。
【００２６】
触覚入力受付部２１は、ユーザによる、画像表示画面部２である接触表示面部材１６に対する触覚的入力を受け付ける入力インタフェースであり、公知の検出方式を用いて、接触位置やジェスチャ（接触操作によって描かれる軌跡パターン）等を検出する。なお、この触覚的入力は、ユーザの手や指等の身体の一部分で行ってもよいし、ペン等の器具を用いて行ってもよい。すなわち、ここでいう触覚入力は、接触入力と言い換えることができる。
【００２７】
表示制御部２２は、画像表示画面部２である接触表示面部材１６に所与の画像を所与の位置に表示させる出力インタフェースである。
【００２８】
軟らかさレベル指定部２３は、画像表示画面部２である接触表示面部材１６の軟らかさ、すなわち、軟らかさ調整部材１２全体の軟らかさのレベルの指定を受け付ける。具体的には、表示制御部２２によって、軟らかさ調整スライドバーのようなグラフィカルユーザインタフェースを画像表示画面部２に表示させて、触覚入力受付部２１が、ユーザによるスライドバー操作を触覚入力として受け付けるようにしてもよいし、軟らかさ調整スイッチやダイヤル等のハードウェアであってもよい。あるいは、この画像情報入力装置１が用いられるアプリケーションの処理や制御に従って、主制御部４によって軟らかさのレベルが指定されるようにしてもよいし、外部のシステムから指定されるようにしてもよい。
【００２９】
軟らかさ制御部２４は、軟らかさレベル指定部２３からの軟らかさのレベルの指定に応じて、軟らかさ調整部材収納部１３に封止された軟らかさ調整部材１２を構成する粒子相互間の摩擦力の強弱を変化させることにより、軟らかさ調整部材１２全体の軟らかさを制御する。具体的な制御方式は、軟らかさ調整部材１２の種類に応じて様々な方式が考えられる。例えば、軟らかさ調整部材１２がガラスビーズと気体の場合は、軟らかさ調整部材収納部１３内の気体の量を増減させることによって、軟らかさ調整部材収納部１３内の圧力を変化させる。軟らかさ調整部材１２が電気粘性流体や磁気粘性流体の場合は、各々、軟らかさ調整部材収納部１３の内部に対して加える電場や磁場を変化させる。
【００３０】
主制御部４は、画像情報入力装置１が用いられるアプリケ−ションに特有の処理の実行や、そのアプリケーションにおける処理の流れの制御を行う機能ブロックを表している。
【００３１】
このような構成要素からなる画像情報入力装置１の動作は以下のとおりである。
【００３２】
まず、主制御部４による制御の下で、軟らかさレベル指定部２３が、軟らかさ調整部材１２全体の軟らかさのレベルの指定を受け付けると、その軟らかさのレベルの情報が軟らかさ制御部２４に送られる。軟らかさ制御部２４は、その軟らかさのレベルの情報に基づき、軟らかさ調整部材１２を構成する粒子相互間の摩擦力の強弱を変化させるための制御を行う。これにより、軟らかさ調整部材１２全体の軟らかさが変化する。したがって、ユーザは、画像表示画面部２である接触表示面部材１６の軟らかさの変化を感じ取りながら、画像表示画面部２に対する画像入力、特に、接触表示面部材１６の３次元形状の加工操作を行うことができる。
【００３３】
図２は、ユーザによる加工操作の可否の観点から、軟らかさ調整部材１２の軟らかさについての典型的な３つのレベルを模式的に表したものである。
【００３４】
図２（Ａ）は、ユーザＭが、接触表示面部材１６の表面に対して形状の加工は容易にできるが、加工された形状の維持は難しい成形不可状態を表している。この状態では、ユーザＭは、接触表示面部材１６および軟らかさ調整部材１２から「粉状」の軟らかさを感じ取ることができる。
【００３５】
また、図２（Ｂ）は、ユーザＭが接触表示面部材１６の表面に対して形状の変更ができると共にその形状をある程度維持できる変形可能状態を表している。この状態では、ユーザＭは、接触表示面部材１６および軟らかさ調整部材１２から「粘土状」の軟らかさを感じ取ることができる。
【００３６】
さらに、図２（Ｃ）は、ユーザＭが接触表示面部材１６の表面に対して変形加工ができないが立体形状の維持をし得るような変形不可状態を表している。この状態では、ユーザＭは、接触表示面部材１６および軟らかさ調整部材１２がカチカチに硬化したと感じ取ることができる。
【００３７】
以上の３つの状態について、軟らかさ調整部材１２の粒子相互間の摩擦力を比較すると、図２（Ａ）の成形不可状態、図２（Ｂ）の変形可能状態、図２（Ｃ）の変形不可状態の順に、強い摩擦力が働いている状態となっている。
【００３８】
一方、触覚入力受付部２１は、画像表示画面部２に対するユーザの触覚入力操作Ｓ１を検知すると、その入力操作内容を表す情報Ｓ２を主制御部４に送信する。主制御部４は、アプリケーションに応じて実装された、その入力操作内容に応じた処理を自ら実行するか、他の処理ブロックに実行させる。例えば、主制御部４は、触覚入力受付部２１で検知された入力操作内容に応じて、所与の画像を画像表示画面部２の所与の位置に表示させるための指示情報Ｓ３を表示制御部２２に送信する。あるいは、主制御部４は、触覚入力受付部２１で検知された入力操作内容に応じて、軟らかさレベル指定部２３に対して、入力操作内容を軟らかさレベルの指定として受け付けるよう、指示情報Ｓ５を送信する。
【００３９】
さらに、表示制御部２２は、主制御部４からの画像表示指示情報Ｓ３に基づいて、表示対象の画像投映信号Ｓ４を画像表示画面部２に対して出力する。これにより、所与の画像が画像表示画面部２の所与の位置に表示される。
【００４０】
以上の構成によれば、接触表示面部材１６と筐体１１によって閉塞された軟らかさ調整部材収納部１３内に軟らかさ調整用粒子を封止してなる軟らかさ調整部材１２において、軟らかさ制御部２４が、軟らかさレベル指定部２３からの指定に応じて軟らかさ調整用粒子相互間の接触圧を変化させ、これに応じて、軟らかさ調整部材１２の軟らかさが変化する。よって、ユーザは、接触表示面部材１６の軟らかさの変化を感じ取りながら、接触表示面部材１６に対して３次元形状の多様な加工を行うことができる。また、表示制御部２２が、画像表示画面部２でもある接触表示面部材１６に形成された３次元形状に対して所与の画像を所与の位置に表示させることもできる。したがって、主制御部４に実装されたアプリケーションに応じて、きわめて自由度の高い３次元的表現を可能にするユーザインタフェースが実現される。
【００４１】
また、接触表示面部材１６で覆われた軟らかさ調整部材収納部１３内部を軟らかさ調整用粒子で満たしたことにより、くびれやねじれ等を有する立体形状の加工も可能になるので、この点においても立体表現の自由度が向上する。
【００４２】
図１及び図２について上述した基本的構成に基づいて、以下の実施の形態が構成される。
【００４３】
（２）第１の実施の形態
図３は第１の実施の形態を示し、図１との対応部分に同一符号を付して示す。
【００４４】
本実施形態では、軟らかさ調整部材１２内の軟らかさ調整用粒子として、直径1mm以下の粒子素材(例えば発泡ビーズ）を用いている。また、接触表示面部材１６としては、スパンデックス布の裏地に薄いラテックスシートを貼り付けたものを使用し、伸縮性と気密性を確保している。
【００４５】
また、制御部本体３１は、周知のパーソナルコンピュータで構成されており、制御部要素３２は、マイクロコントローラで構成されており、制御部本体３１によって制御されている。
【００４６】
制御部本体３１は、プロジェクタ３３に対して画像投映信号Ｓ４を与えることにより、画像表示画面部２に対して所与の画像を所与の位置に投影する。すなわち、本実施形態では、図１の表示制御部２２は、制御部本体３１の上記制御機能とプロジェクタ３３とから構成されている。
【００４７】
また、プロジェクタ３３と一体に、深さ検出カメラ３４が設けられている。当該深さ検出カメラ３４は、カメラ自身から撮影対象への距離を各画素毎にリアルタイムに計測することが可能なものであればどのようなものであってもよい。具体的には、赤外線ドットパターンを照射して距離を計測する方式のKinect センサや、ステレオ視が可能な２眼カメラ等を用いることができる。深さ検出カメラ３４は所定のタイミングで接触表示面部材１６の表面を撮像し、撮像画像信号Ｓ２を制御部本体３１に送信する。制御部本体３１は、撮像画像信号Ｓ２に基づいてユーザによる触覚入力（タッチ位置やジェスチャ）を検出する。すなわち、本実施形態では、図１の触覚入力受付部２１は、制御部本体３１の上記制御機能と深さ検出カメラ３４とから構成されている。
【００４８】
具体的なタッチ位置の検出手法として、ここではKinectセンサを用いた方式について説明する。
【００４９】
まず、深さ検出カメラ３４は、初期状態における接触表示面部材１６の表面を撮像する。
【００５０】
この撮像画像は、接触表示面部材１６上にユーザの手などが含まれていないものであり、接触表示面部材１６全体の凹凸形状が表されたものである。この撮像画像データは、この後のタッチ操作の検出のための背景形状データとして制御部本体３１のメモリに保存される。
【００５１】
次に、制御部本体３１は、当該保存した背景形状データと、深さ検出カメラ３４で撮像されたユーザの手などが含まれる次のフレーム以降の連続的な形状データとの差分を画素ごとに取り、接触表示面部材１６の表面からユーザの手などまでの高さがマッピングされた画像を求める。
【００５２】
この結果、指の厚み（約１〔ｃｍ〕）に対して高さが十分小さい領域が存在する場合、制御部本体３１は、その領域がユーザの指が接触表面部材１６に触れた領域であると判断する。以上のようにして、ユーザによるタッチが行われた位置が検出される。
【００５３】
また、制御部本体３１は、検出した位置と予め画像表示画面部２である接触表示面部材１６に表示されている操作子の位置及び大きさとの位置関係を比較して操作子表示との接触判定を行う。
【００５４】
本実施形態では、接触表示面部材１６に触ることによって感じられる軟らかさ調整部材１２の軟らかさのレベルは、画像表示画面部２である接触表示面部材１６に表示されている操作子の操作（詳細は後述）によって調整することができる。すなわち、本実施形態では、図１の軟らかさレベル指定部２３は、制御部本体３１の制御の下で、プロジェクタ３３を用いて上記操作子を表示させ、ユーザによる上記操作子に対する操作入力を深さ検出カメラ３４の撮像画像から検出することによって実現されている。このようにしてユーザによって指定された軟らかさレベルを表す軟らかさ指定信号Ｓ５は、制御部本体３１から制御部要素３２に送信される。
【００５５】
また、本実施形態では、図１の軟らかさ制御部２４による軟らかさ調整部材１２の軟らかさの調整は、圧力検出器２５、制御部要素３２、真空ポンプ３５、圧力調整用電磁弁３６を用いて、軟らかさ調整部材収納部１３内の圧力を調整することによって実現されている。
【００５６】
具体的には、図３の圧力検出器２５が、画像情報入力テーブル３の軟らかさ調整部材１２が封止された軟らかさ調整部材収納部１３内の空気圧力を検出し、その空気圧力を表す圧力検出信号Ｓ７を制御部要素３２に送信する。制御部要素３２は、当該圧力検出信号Ｓ７に基づいて、真空ポンプ３５に駆動信号を与える。
【００５７】
真空ポンプ３５の出力側には、圧力調整用電磁弁３６が接続されている。当該圧力調整用電磁弁３６は、制御部要素３２からの開閉制御信号Ｓ８に応じて外気吸入口３６Ａ側が開かれると、外気吸入口３６Ａから軟らかさ調整部材収納部１３内に外気が吸入され、内部圧力が大気圧方向に上昇する。また、当該圧力調整用電磁弁３６は、制御部要素３２からの開閉制御信号Ｓ８に応じて内気吐出口３６Ｂ側が開かれると、軟らかさ調整部材収納部１３内部の空気が内気吐出口３６Ｂから真空ポンプ３５によって吐出されることにより、内部圧力が真空圧方向に降下する。その際、真空ポンプ３５の駆動・停止は、制御部要素３２からの制御信号に基づいて行われる。
【００５８】
その際、制御部要素３２は、制御部本体３１からの軟らかさ指定信号Ｓ５に基づいて圧力調整用電磁弁３６を開閉制御する。
【００５９】
図６Ｂは、軟らかさ制御部２４として行われる軟らかさを変更する処理ＲＴ１１の流れを表したフローチャートである。
【００６０】
図に示したように、ステップＳＰ２１において、制御部要素３２は、制御部本体３１からの軟らかさ指定信号Ｓ５に含まれる圧力目標値Ｐｓを取得する。
【００６１】
次に、ステップＳＰ２２において、圧力検出器２５は、軟らかさ調整部材収納部１３内の圧力Ｐｄを検出する。
【００６２】
そして、ステップＳＰ２３において、制御部要素３２は、圧力目標値Ｐｓと軟らかさ調整部材収納部１３内の圧力Ｐｄとを比較する。
【００６３】
ここで、Ｐｄ＞Ｐｓの場合には、ステップＳＰ２４において、制御部要素３２が、軟らかさ調整部材収納部１３内の圧力Ｐｄが低下するように、圧力調整用電磁弁３６を開閉させる開閉制御信号Ｓ８と、真空ポンプ３５を駆動させる制御信号とを、各々、圧力調整用電磁弁３６と真空ポンプ３５とに送信し、その制御信号に応じて、圧力調整用電磁弁３６の開閉、真空ポンプ３５の駆動が行われる。
【００６４】
一方、Ｐｄ＜Ｐｓの場合には、ステップＳＰ２５において、制御部要素３２が、軟らかさ調整部材収納部１３内の圧力Ｐｄが上昇するように、圧力調整用電磁弁３６を開閉させる開閉制御信号Ｓ８と、真空ポンプ３５を停止させる制御信号とを、各々、圧力調整用電磁弁３６と真空ポンプ３５とに送信し、その制御信号に応じて、圧力調整用電磁弁３６の開閉、真空ポンプ３５の停止が行われる。
【００６５】
ステップＳＰ２４あるいはＳＰ２５による軟らかさ調整部材収納部１３内の圧力の調整が行われた後、ＳＰ２２に戻って、圧力検出器２５による軟らかさ調整部材収納部１３内の圧力Ｐｄの検出が行われる。
【００６６】
このような圧力調整の結果、ステップＳＰ２３においてＰｄ＝Ｐｓと判定された場合には、ステップＳＰ２６において、制御部要素３２は、圧力調整用電磁弁３６を閉じさせる開閉制御信号Ｓ８と、真空ポンプ３５を停止させる制御信号とを、各々、圧力調整用電磁弁３６と真空ポンプ３５とに送信する。そして、その制御信号に応じて、圧力調整用電磁弁３６が閉じられることにより、軟らかさ調整部材収納部１３内の圧力状態が固定される。また、これと同時に真空ポンプ３５が停止する。
【００６７】
以上のようにして、軟らかさ調整処理が完了する。
【００６８】
なお、 圧力検出器２５による軟らかさ調整部材収納部１３内の圧力Ｐｄの検出は、制御部要素３２からの指示信号に基づいて行われるようにしてもよいし、所定の時間間隔で検出を行い、制御部要素３２が、圧力Ｐｄを必要とするタイミングで圧力Ｐｄを取得するようにしてもよい。
【００６９】
また、Ｐｄ＝Ｐｓの判定は、厳密に両圧力が一致する場合に限定されず、両圧力の差が所定の誤差範囲内であれば一致と判定するようにしてもよい。
【００７０】
図４は、このような軟らかさ調整部材収納部１３内の圧力調整によって形成される、軟らかさ調整部材および接触表示面部材の軟らかさの状態の典型的な例を模式的に表したものである。図４（Ａ）に示す成形不可状態（図２（Ａ）に対応する）は、軟らかさ調整部材収納部１３内の気圧を外気圧にすることにより形成される。この状態は、粒子相互間摩擦力が小さく、軟らかさ調整部材１２が粉状状態になることにより、接触表示面部材１６は平坦になった状態で、ユーザが立体加工操作をすることにより形状を変更することは容易ではあるが、その変更形状は維持し難い状態となっている。
【００７１】
この状態において、ユーザが指や画像書込部材によってタッチ操作による形状の書き込みをしようとするとき、ユーザは制御部本体３１に対して変形可能モードの指定をすることにより、制御部要素３２によって真空ポンプ３５及び圧力調整用電磁弁３６が制御され、軟らかさ調整部材収納部１３内の圧力が大気圧から減圧され、図４（Ｂ）の変形可能状態に移行することができる。
【００７２】
このとき、軟らかさ調整部材収納部１３の軟らかさ調整部材１２と接触表示面部材１６の軟らかさは粘土状の軟らかさになることにより、ユーザは手で、又はペンなどの画像書込部材によって接触表示面部材１６の表面をタッチ操作することにより、必要に応じた凹凸形状を接触表示面部材１６に付与できる。
【００７３】
かくして接触表示面部材１６の変形加工動作により書き込まれた画像情報は、制御部本体３１が制御部要素３２に対して変形不可状態（図４（Ｃ））になるような軟らかさ指定信号Ｓ５を与えることにより、軟らかさ調整部材収納部１３の圧力が真空圧状態にまで減圧され、図４（Ｃ）に示す変形不可状態に移行する。
【００７４】
以上の構成によれば、基本的に平坦な画像表示画面部２に対して、ユーザがタッチ操作によって画像情報を入力する際には、当該画像表示画面部２の表面にある接触表示面部材１６を可変可能状態に調整できることにより、ユーザは、接触表示面部材１６及びこれと密接する軟らかさ調整部材１２の軟らかさを感じ取りながら、画像表示画面の形状加工や画像書込処理操作を行うことができる。
【００７５】
かくして、ユーザは、画像表示画面に対してタッチ操作により表示画面の凹凸形状を変更する操作をするにつき、接触表示面部材１６の変形可能状態の機能によって表示画面から手応えを感じ取りながら形状の加工入力操作を行うことができ、これにより単に平坦な表示画面に対してタッチ操作する際に感じた物足りなさを有効に緩和できるような画像情報入力操作を実現できる。
【００７６】
次に、本実施形態で実現される画像情報入力処理手順ＲＴ１について説明する。制御部本体３１は、ユーザの入力操作に基づき、図６Ａに示す画像情報入力処理手順ＲＴ１に従って画像情報の入力処理を制御する。
【００７７】
まず、ステップＳＰ１において、制御部本体３１は画像表示画面部２に初期設定画面を表示させる制御を行う。具体的には、図５に示すように、画像表示画面部２には、プロジェクタ３３から画像情報を投射される表示面２Ａとして、画像操作領域２Ｂと操作入力領域２Ｃとが、表示形成されている。
【００７８】
画像操作領域２Ｂは、図４（Ａ）〜（Ｃ）について上述したようなユーザによる立体加工操作やペンなどの画像描画手段による画像の書込操作を行う領域である。
【００７９】
これに対して、操作入力領域２Ｃは、画像操作領域２Ｂにおいて行われる書込操作又は画像加工操作を行うための条件を入力するための操作子が設けられている。
【００８０】
この実施の形態の場合、操作入力領域２Ｃには、表示面２Ａの軟らかさをユーザが手動で入力するための調整レバー構成の軟らかさ設定操作子２Ｃ１と、ユーザが画像操作領域２Ｂに画像情報を書き込む際の色指定を行う（例えば赤・青、白・黒４色の指定を行う）色指定操作子２Ｃ２が設けられ、さらに画像操作領域２Ｂの動作モード設定操作子２Ｃ３として形状加工モードボタン２Ｃ３１、画像編集モードボタン２Ｃ３２及び画像情報取込ボタン２Ｃ３３とが設けられている。
【００８１】
なお、色指定操作子２Ｃ２の各々は、制御部本体３１のメモリ等で、各色に対応するＲＧＢ等の色情報と関連づけられている。
【００８２】
かかる表示面２Ａの各要素はプロジェクタ３３からの投射映像として制御部本体３１からプロジェクタ３３に供給される画像投映信号Ｓ４によって画像情報入力テーブル３の接触表示面部材１６上に映出される。
【００８３】
一方、当該表示面２Ａの状態は、深さ検出カメラ３４の撮像信号（深さ及び画面上の位置情報を有する）として制御部本体３１に取り込まれ、これにより、表示面２Ａの各要素に対するユーザのタッチ位置及びそのタッチ深さの情報が制御部本体３１に取り込まれる。
【００８４】
ここで、ステップＳＰ２において、制御部本体３１は、ユーザが動作モード設定操作子２Ｃ３によって動作モードの設定操作をするのを待ち受ける。
【００８５】
ユーザが形状加工モードボタン２Ｃ３１をタッチ操作すると、制御部本体３１は、ステップＳＰ３に移って、ユーザが軟らかさ設定操作子２Ｃ１によって軟らかさを選定操作するのを待ち受ける。
【００８６】
軟らかさ設定操作子２Ｃ１は操作レバーが左端の最も軟らかい軟らかさを指定したとき図４（Ａ）について上述した粉末状の軟らかさを指定することを意味し、この状態からレバーの右端の最も堅い軟らかさを指定するようにスライドバーをスライドさせたとき、図４（Ｂ）の粘土状の状態を通ってから、図４（Ｃ）に示す硬化状態の軟らかさまでを、ユーザが必要に応じて無段階で指定できるようになされている。なお、軟らかさ設定操作子２Ｃ１の操作レバーの各位置は、軟らかさ調整部材収納部１３内の圧力の目標値Ｐｓと対応づけられている。対応づけは、参照テーブルや関数を用いて行うことができる。
【００８７】
当該軟らかさ設定操作子２Ｃ１の操作がなされると、制御部本体３１は、次のステップＳＰ４に移って、図６Ｂを用いて前述したように、圧力検出器２５、真空ポンプ３５、圧力調整用電磁弁３６を制御し、軟らかさ調整部材１２の軟らかさを、軟らかさ設定操作子２Ｃ１は操作レバーで設定されたレベルに変更させる。
【００８８】
そして、制御部本体３１はステップＳＰ５に移り、ユーザが接触表示面部材１６の画像操作領域２Ｂに対して形状加工操作を行うのを待ち受ける。
【００８９】
このようにして制御部本体３１は、ユーザが形状加工モードボタン２Ｃ３１を操作したとき、軟らかさ調整部材１２をユーザが希望する軟らかさに設定した状態で形状加工を行わせることができる。
【００９０】
これに対して、上述のステップＳＰ２において、ユーザが画像編集モードボタン２Ｃ３２を操作すると、制御部本体３１は、ステップＳＰ６に移り、図６Ｂを用いて前述したように、圧力検出器２５、真空ポンプ３５、圧力調整用電磁弁３６を制御し、軟らかさ調整部材１２の軟らかさを、最大硬化レベルである図４（Ｃ）の変形不可状態に硬化させる。これにより、接触表示面部材１６は、ユーザに対して画像操作領域２Ｂに対して画像情報を書込操作させることができる状態になる。
【００９１】
また、次のステップＳＰ７において、制御部本体３１は、この軟らかさの変更に伴い、軟らかさ設定操作子２Ｃ１は操作レバーの位置を最大硬化レベルの位置に変更させる表示制御を行う。
【００９２】
そして、制御部本体３１は、次のステップＳＰ８においてユーザが色指定操作子２Ｃ２によって色指定操作をさせた後、ステップＳＰ９において操作表示面部材１６をユーザがタッチすることにより、当該指定した色による画像の書込操作を行わせ、これによりステップＳＰ１０において、タッチした画面位置にその色の画像を描画した状態を得る。
【００９３】
この実施の形態の場合、ユーザは、画像情報入力テーブル３の接触表示面部材１６の表面を指先でなぞるような描画動作をすることにより、その軌跡に沿った画像表示を書き込むこともできる。
【００９４】
当該描画した状態が得られると、制御部本体３１は上述のステップＳＰ２に戻り、ここでユーザが画像情報取込みボタン２Ｃ３３を操作すると、制御部本体３１は、ステップＳＰ１１に移って、深さ検出カメラ３４で撮像を行わせ、その撮像信号を、接触表示面部材１６の表面形状を表す画像入力情報として、制御部本体３１のメモリに保存する。これを利用することによって、接触表示面部材１６の表面形状をそのまま３次元ＣＧに変換することが可能になる。
【００９５】
かくしてユーザによる画像情報入力処理操作が終了したので、制御部本体３１はステップＳＰ１２において当該画像情報入力処理手順ＲＴ１を終了する。
【００９６】
なお、上記画像情報入力処理手順ＲＴ１において、ユーザによる接触表示面部材１６に対するタッチ操作の検出のためには、背景形状データの取得が必要となるが、この処理は、まずステップＳＰ１のタイミングで行われる。これにより、動作モードの設定のためのタッチ操作の検出が可能になる。そして、ステップＳＰ２において画像編集モードが選択されたタイミングか、あるいは、その後のステップＳＰ６またはＳＰ７のタイミングで、背景形状データの再取得が行われる。これにより、後続のステップＳＰ８の色指定のためのタッチ操作や、ステップＳＰ９の描画のためのタッチ操作の検出を、形状加工モードでの接触表示面部材１６の形状変更後の状態を基準にして行うことができるようになる。
【００９７】
以上の構成によれば、ユーザは画像表示画面部２の接触表示面部材１６の軟らかさを自分が希望する軟らかさに設定した状態において、接触表示面部材１６をタッチすることにより画像表示画面部２に対して立体形状を加工操作して当該画像情報を主制御部４内に保存するような画像情報入力装置１を実現できる。
【００９８】
かくして、画像表示画面部２を軟らかさの調整ができない平板状のものを用いた場合と比較して、人の触感を含む一段と豊かな画像情報を容易に形成することができる。
【００９９】
すなわち、本実施形態では、第１に、モデリングとテクスチャ描画が同時に行えるという効果が得られる。従来のモデリング作業にはモデリング作業とテクスチャを編集する作業はそれぞれ異なるソフトウェア上で行う必要があったため、両作業を同時並行して行うことは困難であった。本システムでは同一のシステム上で動作モードを自由に切り替えつつ行うことが可能である。
【０１００】
第２に、手による直接的な加工が可能になるという効果が得られる。モデリング作業を実際にディスプレイの形状を手で変形することで行うことができるため、マウス・キーボード等に慣れていない人でもモデリングを行うことが可能である。
【０１０１】
第３に、加工方法に合わせた軟らかさが選択可能になるという効果が得られる。すわなち、硬さが変更可能なので、例えば最初に大まかな形状を作る際は軟らかい状態にし、両手でかき集めるような動作、また細かいディテールを形作る際は粘土のような固い状態にし、指先や道具で加工する等の作業内容に最適な硬さでモデリングが行える。
【０１０２】
図３〜図６の第１の実施の形態において、以下にその変形例を示す。
【０１０３】
上記実施形態では、図６ＡのステップＳＰ６〜ＳＰ１０の画像編集処理において、ステップＳＰ６において軟らかさを最大硬化目標値Ｐｍに設定することにより、最大硬化をした状態でステップＳＰ８〜ＳＰ１０の画像書込操作を行うようにしたが、軟らかさ調整部材１２を最大硬化させずに、画像書込み操作を受け付けるようにした形態も考えられる。
【０１０４】
具体的には、予め保存しておいた接触表示面部材１６の表面形状(背景形状)と手領域が含まれる接触表示面部材１６の表面形状(前景形状)を比較する際に、手領域以外のディスプレイ領域を基に保存しておいた背景形状を毎フレーム更新していくようにすればよい。これにより、予め接触表示面部材１６の表面形状を取得しておく必要がなくなり、また形状が変化した場合にもタッチ検出が可能になるという効果が得られる。さらに、上記実施形態の場合、画像操作領域２Ｂは、表面形状が変形されない位置に配置することが好ましいが、この変形例であれば、画像操作領域２Ｂの表面形状が変化しても、この領域の各操作子に対するタッチ操作を検出することが可能になる。
【０１０５】
また、ユーザが作成した形状を深さ検出カメラ３４で撮像し、その撮像画像に対して公知の画像認識処理を行うことによって、作成された形状を認識し、作成位置に、認識された形状に適合するテクスチャ画像を、プロジェクタ３３を介して重畳表示させるようにしてもよい。例えば、顔型をユーザが作成したとすると、目、鼻、口等の位置を形状から取得し、その位置に目画像、鼻画像、口画像等を投影することが可能である。
【０１０６】
さらに、上記実施形態において、ユーザの指が接触表示面部材１６に接近した際に(2cmほどの距離に接近しただけで、まだタッチはしていない状態)、実際にタッチした際に描画が行われる位置を示す印を出力するようにしてもよい。具体的には、指の真上に表示すると指の上に投影表示されてしまうため、実際は指先より数ピクセル上方にずらし、指から若干離れた位置に表示を行うことが好ましい。
【０１０７】
（３）第２の実施の形態
図７は第２の実施の形態を示すもので、図３との対応部分に同一符号を付して示す。
【０１０８】
この実施の形態の場合、画像情報入力テーブル３の接触表示面部材１６上に、形状加工治具４０が用いられる。
【０１０９】
形状加工治具４０は図８（Ａ）に示すように、円形基板４０Ａの下面側に加工内面４０Ｂが彫り込まれ、これにより加工内面４０Ｂの下側に吸引空所４０Ｃが形成されている。
【０１１０】
吸引空所４０Ｃには、円形基板４０Ａを貫通する吸引パイプ４０Ｄが設けられ、これが形状加工用真空ポンプ４１に連通される。
【０１１１】
この実施の形態の場合、加工内面４０Ｂは人の顔面形状を表しており、接触表示面部材１６の形状を加工する際には、図８（Ｂ）に示すように、円形基板４０Ａの下面を接触表示面部材１６上に当接させることにより、吸引空所４０Ｃを接触表示面部材１６によって閉塞した状態に形状加工治具４０を設定する。
【０１１２】
この形状加工治具４０の設定状態において、図８（Ｃ）に示すように、形状加工用真空ポンプ４１を駆動することにより、吸引パイプ４０Ｄを通じて吸引空所４０Ｃ内の内部空気４０Ｅを排出させることにより負圧状態に維持し、これにより接触表示面部材１６を加工内面４０Ｂに引き付ける。
【０１１３】
この結果、加工内面４０Ｂに引き付けられた接触表示面部材１６の表面形状は、ほぼ加工内面４０Ｂにならうような形状になり、この結果、画像情報入力テーブル３の接触表示面部材１６上に人の顔面形状を表す立体形状が加工される。
【０１１４】
以上の構成において、ユーザが人の顔面形状の加工を行おうとする場合、図６Ａにおいて上述した画像情報入力処理手順ＲＴ１の形状加工モードで行うことになる。具体的には、ユーザは、ステップＳＰ３において、軟らかさ設定操作子２Ｃ１のレバーの位置を適切な位置（図４（Ａ）の成形不可状態が好ましい）に設定する。そして、ステップＳＰ４で軟らかさ調整部材１２の軟らかさが変更された後、ステップＳＰ５において、制御部本体３１は、手作業による形状加工操作に代えて、上記形状加工治具４０を用いた顔面形状の加工を待ち受ける。すなわち、形状加工用真空ポンプ４１を駆動することにより、図８（Ｃ）について上述したように、接触表示面部材１６の表面を加工内面４０Ｂに引き付けることにより、画像情報入力テーブル３上に人の顔面形状を表す凹凸形状を加工する。
【０１１５】
以上の構成によれば、画像情報入力テーブル３の軟らかさ調整部材１２の軟らかさを、形状加工治具４０の加工処理に適合するような軟らかさに設定することができることにより、形状加工治具４０を使って画像情報入力テーブル３の表面に立体的な人の顔面形状を簡易かつ確実に形成させることができる。また、当該表面に形成された顔面形状を、図６Ａについて上述した画像情報入力処理手順ＲＴ１のステップＳＰ１１において、深さ検出カメラ３４の検出情報を画像入力情報として主制御部４のメモリに保存することができる。
【０１１６】
なお、上記実施形態では、図８（Ｃ）の状態に達したとき、動作モードを画像編集モードに変更することによって、あるいは、軟らかさ設定操作子２Ｃ１を操作することによって、軟らかさを最大硬度に変更した後、形状加工用真空ポンプ４１の駆動を停止させ、その後で形状加工治具４０を取り外す必要がある。そこで、制御部本体３１が、制御部要素３２を介して形状加工用真空ポンプ４１の制御もできるように構成し、顔面形状加工用ボタンを図５の操作入力領域２Ｃに設け、このボタンにタッチすると、上記の順序で、軟らかさ調整部材１２の軟らかさの制御と形状加工用真空ポンプ４１の制御とを自動的に行わせるようにしてもよい。
【０１１７】
（４）第３の実施の形態
図９は第３の実施の形態を示すもので、図３との対応部分に同一符号を付して示す。
【０１１８】
この実施の形態の場合、圧力調整用電磁弁３６の外気吸入口３６Ａ及び内気吐出口３６Ｂにそれぞれ電空レギュレータ４９及び５０を設けたことに特徴がある。
【０１１９】
当該電空レギュレータ５０及び４９は、制御部要素３２から与えられる制御信号Ｓ２１及びＳ２２によって、内気吐出口３６Ｂ及び外気吸入口３６Ａの空気の流通量を全開状態から閉塞状態までの状態を制御できる。
【０１２０】
この結果、真空ポンプ３５の動作時において、電空レギュレータ５０が全開であるとき画像情報入力テーブル３内の圧力が真空ポンプ３５の最大出力で減圧されることにより、より早く画像情報入力テーブル３内の圧力を低下させることができる。
【０１２１】
これに対して、電空レギュレータ５０が全開状態から閉塞状態に移行する際には、真空ポンプ３５により吐出される内気吐出量が絞られることにより、画像情報入力テーブル３内の圧力の低下率が小さくなる。
【０１２２】
かくして、真空ポンプ３５の動作時に、制御部要素３２は、制御部本体からの制御に基づき、画像情報入力テーブル３の軟らかさ調整部材１２の軟らかさが硬化して行く変化率を制御できることになる。
【０１２３】
これに対して電空レギュレータ４９は、圧力調整用電磁弁３６が外気吸入口３６Ａから画像情報入力テーブル３内に外気を吸入動作することにより、その内部の圧力を大気圧にまで上昇動作させる際に、その外気吸入量を制御する。
【０１２４】
かくして、電空レギュレータ４９が全開状態に制御されたとき、外気吸入口３６Ａから吸入される外気が最大量になり、画像情報入力テーブル３内の圧力が急速に外気圧に近づくことにより軟らかさ調整部材１２が急速に軟らかくなるのに対して、電空レギュレータ４９が全開状態から全閉状態にまで変化して行くと、外気吸入口３６Ａからの吸入量が小さくなって行くことにより、画像情報入力テーブル３内の圧力の変化率、および、これに伴う軟らかさ調整部材１２が軟らかくなって行く変化率が小さくなるように制御される。
【０１２５】
この実施の形態の場合、画像表示画面部２には、図１０に示すように、軟らかさ付与選択操作子５１が設けられている。なお、この図にでは、図５との対応部分に同一符号を付してある。
【０１２６】
この軟らかさ付与選択操作子５１は、ユーザが形状加工モードボタン２Ｃ３１を選択した後、画像情報入力テーブル３の接触表示面部材１６をタッチすることにより、その形状を加工しようとする際に、軟らかさ調整部材１２の軟らかさの変化を７つの選択ボタン５１Ａ〜５１Ｇを選択操作することにより、軟らかさ調整部材１２の軟らかさの変化、すなわちユーザがタッチしている接触表示面部材１６の表面の軟らかさの状態の変化の仕方を選択できるようになされている。
【０１２７】
「軟」ボタン５１Ａは、画像情報入力テーブル３内の気圧を大気圧に近い状態に維持する（この状態を「軟」状態と呼ぶ）ものである。
【０１２８】
また「硬」ボタン５１Ｂは、画像情報入力テーブル３内部の圧力を真空圧に近い圧力にすることにより、接触表示面部材１６の軟らかさが最大硬度状態になる（これを「硬」状態と呼ぶ）を選択する操作子である。
【０１２９】
「中間」ボタン５１Ｃは、画像情報入力テーブル３内の圧力が「軟」状態から「硬」状態までの間の中間圧力の状態（これを「中間」状態と呼ぶ）に設定する選択操作子である。
【０１３０】
「徐硬」ボタン５１Ｄは、ユーザが接触表示面部材１６に接触開始した時点から、画像情報入力テーブル３内の圧力を徐々に低下させることにより、軟らかさ調整部材１２及び接触表示面部材１６の軟らかさが徐々に硬くなって行く状態（これを「徐硬」状態と呼ぶ）を指定するための選択操作子である。
【０１３１】
「徐軟」ボタン５１Ｅは、ユーザが接触表示面部材１６を接触開始した時点から画像情報入力テーブル３内の圧力を徐々に高くして行くことにより、軟らかさ調整部材１２及び接触表示面部材１６の軟らかさが徐々に軟らかくなって行く状態（これを「徐軟」状態と呼ぶ）を指定する選択操作子である。
【０１３２】
「硬急軟」ボタン５１Ｆは、ユーザが接触表示面部材１６を接触している状態においては、画像情報入力テーブル３内の圧力を真空圧状態の最硬化状態にした状態とし、所定の時間経過後に画像情報入力テーブル３内の圧力を急速に高めることにより、軟らかさ調整部材１２及び接触表示面部材１６の軟らかさが硬化状態から急速に軟らかくなる状態（これを「硬急軟」状態と呼ぶ）を指定するための選択操作子である。
【０１３３】
「軟急硬」ボタン５１Ｇは、ユーザが接触表示面部材１６に接触しているときは画像情報入力テーブル３内の圧力を大気圧近くに維持している状態とし、所定の時間経過後に画像情報入力テーブル３内の圧力を急激に低下させることにより、軟らかさ調整部材１２及び接触表示面部材１６の軟らかさを軟らかい状態から急激に硬い状態に変化させる状態（これを「軟急硬」状態と呼ぶ）を指定する選択操作子である。
【０１３４】
以上の構成において、ユーザが形状加工モードボタン２Ｃ３１を選択した後、軟らかさ付与選択操作子５１の「軟」ボタン５１Ａ〜「軟急硬」ボタン５１Ｇを操作すると、制御部本体３１は図１１に示す形状加工処理手順ＲＴ２を実行する。
【０１３５】
この形状加工処理手順ＲＴ２に入ると、制御部本体３１はステップＳＰ３１において軟らかさ付与選択操作子の操作がなされたことを確認すると共に、「軟」ボタン５１Ａが操作されたことを確認すると、ステップＳＰ３２に移って画像情報入力テーブル３内の圧力目標値を大気圧近くに設定する。
【０１３６】
このとき制御部本体３１は、ステップＳＰ３３に移って電空レギュレータ４９を全開状態に制御する。
【０１３７】
かくして画像情報入力テーブル３には、電空レギュレータ４９、圧力調整用電磁弁３６を介して大気圧を画像情報入力テーブル３に供給する状態を維持することにより、接触表示面部材１６を接触しているユーザに軟らかいタッチ感を与えるような状態を維持する。
【０１３８】
かくして制御部本体３１は「軟」ボタン５１Ａを操作することにより対応する結果が得られたことによりステップＳＰ３４において当該形状加工処理手順ＲＴ２を終了する。
【０１３９】
ステップＳＰ３１において「硬」ボタン５１Ｂが操作されたことを確認すると、制御部本体３１はステップＳＰ３５に移って画像情報入力テーブル３内の圧力目標値を真空圧近くに設定してステップＳＰ３６に移る。
【０１４０】
このとき制御部本体３１は真空ポンプ３５を起動すると共に電空レギュレータ５０を全開状態に制御することにより、画像情報入力テーブル３内の圧力を真空圧近くにまで低下させることにより軟らかさ調整部材１２を硬化させる。
【０１４１】
従って接触表示面部材１６に接触しているユーザに対して硬いタッチ感を与えるような状態を維持した後、ステップＳＰ３４において当該形状加工処理手順ＲＴ２を終了する。
【０１４２】
制御部本体３１がステップＳＰ３１において「中間」ボタン５１Ｃが選択されたことを確認すると、ステップＳＰ３７に移って画像情報入力テーブル３内の圧力目標値を中間圧に設定する。
【０１４３】
この結果、制御部本体３１は、ステップＳＰ３８に移って圧力調整用電磁弁３６を介して外気吸入口３６Ａからの吸入外気又は内気吐出口３６Ｂからの内気吸出空気を用いて画像情報入力テーブル３内の圧力を制御することにより、軟らかさ調整部材１２及び接触表示面部材１６の軟らかさを中間の軟らかさに維持する。
【０１４４】
かくして制御部本体３１は、「中間」ボタン５１Ｃが指定された条件を満足するような処理を行ったことにより、ステップＳＰ３４において形状加工処理手順ＲＴ２の処理を終了する。
【０１４５】
かかる「軟」ボタン５１Ａ、「硬」ボタン５１Ｂ及び「中間」ボタン５１Ｃが選択されたとき、電空レギュレータ４９及び５０は全開状態を維持する。
【０１４６】
制御部本体３１は、ステップＳＰ３１において「徐硬」ボタン５１Ｄが選択されたことを確認すると、ステップＳＰ３９に移って画像情報入力テーブル３内の圧力目標値を大気圧から真空までの間の圧力に設定し、画像情報入力テーブル３の圧力が当該設定値になったときステップＳＰ４０に移る。
【０１４７】
当該ステップＳＰ４０において、制御部本体３１は、ユーザが接触表示面部材１６をタッチ開始した時点から電空レギュレータ５０の開度を制御しながら圧力調整用電磁弁３６の内気吐出口３６Ｂからの空気吐出量を徐々に大きくしながら真空ポンプ３５に吐出させる。
【０１４８】
この結果、画像情報入力テーブル３内の圧力を電空レギュレータ５０の開度の変化に応じた変化率で徐々に低下して行く。
【０１４９】
かくして制御部本体３１は、ステップＳＰ４１において画像情報入力テーブル３の軟らかさ調整部材１２及び接触表示面部材１６の表面の軟らかさが、タッチ開始時点から徐々に硬くなるようなタッチ感を、ユーザの手が接触している接触表示面部材１６から与えられる。
【０１５０】
かくして「徐硬」ボタン５１Ｄが選択されたことに対応するようなタッチ感が接触表示面部材１６から与えられる結果になっているので、制御部本体３１はステップＳＰ３４から当該形状加工処理手順ＲＴ２を終了させる。
【０１５１】
制御部本体３１が、ステップＳＰ３１において「徐軟」ボタン５１Ｅが選択されたことを確認すると、ステップＳＰ４２に移って画像情報入力テーブル３内の圧力目標値を大気圧から真空までの間の値に設定する。
【０１５２】
このとき制御部本体３１は、圧力調整用電磁弁３６を介して全開の電空レギュレータ４９を通じて外気吸入口３６Ａから吸入された外気を画像情報入力テーブル３に吸入し、又は、全開の電空レギュレータ５０を通って画像情報入力テーブル３の空気を圧力調整用電磁弁３６の内気吐出口３６Ｂから真空ポンプ３５に吸出することにより、画像情報入力テーブル３内の圧力を大気圧から真空までの間の値に調整する。
【０１５３】
従って、ユーザは、接触表示面部材１６をタッチしていることにより、当該接触圧力を感じ取る状態になっている。
【０１５４】
この状態になると、制御部本体３１は、次のステップＳＰ４３に移って、ユーザが接触表示面部材１６をタッチ開始した時点から、電空レギュレータ４９の開度を徐々に大きく制御することにより、外気吸入口３６Ａからの吸入量を徐々に大きくしながら、圧力調整用電磁弁３６から画像情報入力テーブル３に吸入することにより、その圧力を徐々に高める制御をして、ステップＳＰ４４において、軟らかさ調整部材１２及び接触表示面部材１６が徐々に軟らかくなるようなタッチ感をユーザに与える状態になる。
【０１５５】
この結果、ステップＳＰ３１において「徐軟」ボタンが選択された結果を表す状態になるので、制御部本体３１はステップＳＰ３４において当該形状加工処理手順ＲＴ２を終了する。
【０１５６】
ステップＳＰ３１において、「硬急軟」ボタン５１Ｆが選択されたことを確認すると、制御部本体３１は、ステップＳＰ４５に移って、画像情報入力テーブル３内の圧力目標値を真空圧近くに設定する。
【０１５７】
この状態において制御部本体３１は、ステップＳＰ４６に移ってユーザが接触表示面部材１６にタッチしている状態において、全開状態に制御した電空レギュレータ４９を通って圧力調整用電磁弁３６の外気吸入口から空気を大量に吸入させる。
【０１５８】
このとき制御部本体３１は、ステップＳＰ４７に移って接触表示面部材１６をタッチしているユーザが、固いものが急に軟らかくなったタッチ感を与えるような状態になり、かくして制御部本体３１は、ステップＳＰ３１において選択された「硬急軟」ボタン５１Ｆが選択された結果が得られたことにより、ステップＳＰ３４において当該形状加工処理手順ＲＴ２を終了する。
【０１５９】
制御部本体３１が、ステップＳＰ３１において「軟急硬」ボタン５１Ｇが選択されたことを確認すると、ステップＳＰ４８において画像情報入力テーブル３内の圧力目標値を大気圧近くに設定すると共に、電空レギュレータ４９を全開状態に制御して外気吸入口３６Ａから圧力調整用電磁弁３６を通じて画像情報入力テーブル３に外気を吸入し、これにより画像情報入力テーブル３の圧力が大気圧近くに上昇する。
【０１６０】
この状態において制御部本体３１は、ステップＳＰ４９に移ってユーザが接触表示面部材１６にタッチしている状態において、全開状態に制御した電空レギュレータ５０を通って圧力調整用電磁弁３６の内気吸出口の空気を大量に吐出させる。
【０１６１】
この結果、制御部本体３１は、ステップＳＰ５０において、接触表示面部材１６をタッチ操作しているユーザに対して、軟らかいものが急に硬くなったタッチ感を与えた状態になり、この結果ユーザが「軟急硬」ボタン５１Ｇを選択した結果が得られることにより、制御部本体３１はステップＳＰ３４から当該形状加工処理手順ＲＴ２を終了する。
【０１６２】
上述の構成によれば、ユーザが画像情報入力テーブル３をタッチしながら当該画像情報入力テーブル３の表面の形状を加工しようとする際に、加工対象となる画像情報入力テーブル３の軟らかさが自分の意図した状態にあることをタッチ操作している接触表示面部材１６からフィードバックを受けることにより確認できるような、操作性が良い画像情報入力装置を実現できる。
【０１６３】
また、形状加工時において、触覚的フィードバックが多様化されるので、形状加工操作において、ユーザは新たな楽しみが得られることになる。
【０１６４】
さらに、ユーザが形状加工モードで接触表示面部材１６の表面形状を加工した後、軟らかさ調整部材１２を最硬化させた後で上記形状加工処理手順ＲＴ２を実行すれば、ユーザが加工した形状を崩すときの変化を楽しむことも可能になる。
【０１６５】
この第３の実施の形態の適用例として、画像表示画面部２に表示した物体の軟らかさを表現できるディスプレイとして応用できる。
【０１６６】
例えば従来のガラスディスプレイでは、視覚情報から「軟らかさ」を経験で補完しながら推測することしかできなかったが、第３の実施の形態によれば、ユーザに対してリアルタイムの実体験として提示できる。
【０１６７】
また、視覚障碍者のための視覚ディスプレイとして、一般に点字ディスプレイが普及しているが、当該第３の実施の形態のシステムによれば、軟らかさの変化を提示することにより、点字ディスプレイに代わる触覚ディスプレイとして応用することができる。
【０１６８】
（５）第４の実施の形態
図１２は第４の実施の形態による画像情報入力装置１を示すもので、図３との対応部分に同一符号を付して示してある。図に示したように、図３の場合は、画像表示画面部２に入力された画像情報を深さ検出カメラ３４から得られる画像検出情報Ｓ２によって主制御部４に取り込む構成であったのに対して、本実施形態では、これに代えて、画像情報入力テーブル３の裏面側に設けられたペン描画状態検出部材５５から描画状態検出信号Ｓ２１を制御部本体３１に取り込むように構成されている。
【０１６９】
この実施の形態の場合、画像情報入力テーブル３は、軟らかさ調整部材１２を封入している接触表示面部材１６が平板状に形成されると共に、当該平板上の画像情報入力テーブル３の裏面に連接するように、平板上のペン描画状態検出部材５５が配設されている。
【０１７０】
この平板状の画像情報入力テーブル３の接触表示面部材１６に対する画像情報入力操作手段として、ユーザが描画操作する描画ペン５６が用意されており、ユーザが描画ペン５６の先端を接触表示面部材１６に押し付けて描画操作をしたとき、当該描画ペン５６の押し付け位置及び押し付け圧力を、ペン描画状態検出部材５５が検出して対応する描画状態検出信号Ｓ２１を送出する。
【０１７１】
この実施の形態の場合、ペン描画状態検出部材５５は、読み取り可能高さが１ｃｍ以上の電磁誘導手段によって検出出力を得るような、公知のタブレットデバイスを適用している。
【０１７２】
以上の構成において、制御部本体３１は、図１４に示す描画状態設定処理手順ＲＴ３に入ると、ステップＳＰ５５において、プロジェクタ３３に画像表示信号Ｓ４を与えることにより、図１３に示すような表示画面２Ａを画像情報入力テーブル３の画像表示画面部２に表示する。
【０１７３】
この表示面２Ａは、図５との対応部分に同一符号を付して示すように、操作入力領域２Ｃに、複数の描画ツール選択操作子５８を表示して、ユーザが各選択操作子を選択操作するのを待ち受ける。
【０１７４】
この実施の形態の場合、描画ツール選択操作子５８は、ペン選択操作子５８Ａと、ふで選択操作子５８Ｂと、消しゴム選択操作子５８Ｃとが設けられ、各操作子が選択されたとき、制御部本体３１は、ステップＳＰ５６に移って、描画ペン５６においてユーザが接触表示面部材１６上に対して、ペンを用いて描画し、又は筆を用いて描画し、又は消しゴムを用いてこれまで描画されていた画像を消しとるような描画条件を設定する。
【０１７５】
以上の構成において、制御部本体３１は、図１４に示す描画状態設定処理手順ＲＴ３を実行することにより、描画ペン５６を用いて画像情報入力テーブル３の接触表示面部材１６に描画ペン５６によって画像情報を描画できる。
【０１７６】
具体的には、描画状態設定処理手順ＲＴ３に入ると、制御部本体３１はステップＳＰ５５に移って図１３に示す初期設定画面を画像表示画面部２に表示する。
【０１７７】
続いて制御部本体３１は、ステップＳＰ５６に移って、ユーザが図１３の表示面２Ａの描画ツール選択操作子５８から描画ツールを選択させる。
【０１７８】
ここで、ユーザが描画ツールを選択すると、制御部本体３１は、ステップＳＰ５７に移り、選択された描画ツールに応じた描画条件の設定を行うとともに、ステップＳＰ５８に移り、制御部要素３２、真空ポンプ３５、圧力調整用電磁弁３６を介して、画像情報入力テーブル３内の圧力を、ユーザが選択した描画ツール選択操作子５８に対してあらかじめ設定した軟らかさ目標値に相当する圧力に自動変更する。さらに、ステップＳＰ５９に移り、軟らかさ設定操作子２Ｃ１のレバーの位置を、選択された描画ツールに応じた軟らかさの位置に変更する。
【０１７９】
これに対して、ユーザが軟らかさ設定操作子２Ｃ１のレバーの位置の変更を行った場合、制御部本体３１は、ステップＳＰ６０に移り、それ以前に選択された描画ツールの種類にかかわらず、軟らかさ設定操作子２Ｃ１のレバーの位置に対応する軟らかさに手動変更する。
【０１８０】
かくして、制御部本体３１は、ステップＳＰ６１において、画像情報入力テーブル３の軟らかさ調整部材１２及び接触表示面部材１６の軟らかさを制御することにより、当該描画状態設定処理手順ＲＴ３の処理を終了する。
【０１８１】
そして、制御部本体３１は、画像情報入力テーブル３内の圧力を圧力検出器２５において検出しながら、ペン描画状態検出部材５５が現在の描画ペン５６の描画位置及びその筆圧をペン描画状態検出部材５５によって検出して、制御部本体３１に取り込む。
【０１８２】
以上の構成によれば、主制御部４はユーザが描画ペン５６を用いて画像情報入力テーブル３の接触表示面部材１６上に描画をしたとき、当該描画ペン５６のペン位置及び筆圧をペン描画状態検出部材５５によって検出して画像情報として取り込みながら、接触表示面部材１６の軟らかさをユーザが必要とする状態に制御しながら描画情報を得ることができる。
【０１８３】
かくするにつき、接触表示面部材１６の軟らかさを、ユーザが選択した描画ツールに応じて適切に制御することができることにより、ユーザが希望する条件の下で、ペンによる描画や、筆による描画や、消しゴムによる消去操作を、あたかも選択された描画ツールを操作しているかのような筆感（書き心地）のフィードバックを受けながら実行することができるような描画情報入力装置を実現できる。
【０１８４】
また、接触表示面部材１６の硬さが粘土のような中間的な状態の場合、ユーザがペンで描くと、筆圧に応じて接触表示面部材１６に窪みが生じる。この窪みは硬さを変えることで消すことが可能であるが、この窪みを利用することで、次のようなことが可能になる。まず、窪みをもう一度ペンでなぞることで、もう一度同じ軌跡・筆圧で描くことが可能になる。また、ペンを持っていない手で窪みをなぞることで、視覚的ではなく、触覚的に自分か書いたペンの筆跡を感じることが可能である。これは目の不自由な人がペイントツールや手書き入力を行う際の手助けになる。
【０１８５】
（６）他の実施の形態（６−１）上記第１ないし第４の実施の形態においては、軟らかさ調整粒子としてビーズを用いた場合について述べたが、これに代え、動的に硬さが変化する素材である電気粘性粒体、又は磁気粘性粒体を用いても良い。
【０１８６】
この場合、画像情報入力テーブル３内に磁場を印加させる機構が組み込まれ、制御部本体３１によって磁場の制御を行うことにより粘性を変化させる。
【０１８７】
かくすることにより、上述の場合と同様の効果を得ることができると共に、空気圧と比較し軟らかさ変化の反応速度が向上することが見込まれ、また真空ポンプ等の空圧機器が不要となるため、デバイスの小型化が見込まれる。
【０１８８】
（６−２）図１２の第４の実施の形態のように、軟らかさ調整部材１２に対して描画ペン５６を用いて画像情報を入力する場合において、図１５（Ａ）に示すように、描画ペン５６に対して図７の第２の実施の形態について上述したと同様に、制御部要素３２からの駆動信号によって駆動される形状加工用真空ポンプ４１Ａを接続することにより、図１５（Ｂ）に示すように、描画ペン５６の先端口５６Ａを形状加工治具として用いて、軟らかさ調整部材１２の表面を吸引することにより軟らかさ調整部材１２の表面に盛り上げ形状部５７を形成する。
【０１８９】
かくすることにより、描画ペン５６の筆圧によって軟らかさ調整部材１２上に彫り溝を形成することにより画像情報を入力することに加えて、軟らかさ調整部材１２の表面にユーザの意図に従って盛り上げ形状部５７を形成することにより、これを新たな画像入力情報として用いることができる。
【０１９０】
これにより、さらに一段と多様な画像情報を簡便に入力することができる。
【０１９１】
（６−３）上述の第１ないし第４の実施の形態においては、画像情報入力テーブル３の内圧を制御する手段として、１つの真空ポンプ３５から得られた負圧空気によって全体として制御するように構成したが、これに代え、画像情報入力テーブル３を図１６に示すように、複数の分割部分６０Ａ〜６０Ｆに分割し、各分割部分６０Ａ〜６０Ｆにレギュレータ６１Ａ〜６１Ｆを介して真空ポンプ３５からの負圧空気を供給するようにしても良い。
【０１９２】
このようにすれば、画像情報入力テーブル３の軟らかさ調整部材１２は、分割部分６０Ａ〜６０Ｆごとに圧力が制御されることにより、接触表示面部材１６が各分割部分６０Ａ〜６０Ｆごとに軟らかさが違うように軟らかさの制御を行うことができる。
【０１９３】
かくしてさらに一段と多様な画像情報を入力できるような画像情報入力装置を実現できる。
【０１９４】
（６−４）上述の第１ないし第４の実施の形態においては、画像情報入力テーブル３は軟らかさ調整部材１２が上方に開放した形状を有する場合について述べたが、これに代え、画像情報入力テーブル３の外観形状を球状にしても良い。
【０１９５】
この場合の画像情報入力テーブル３は、外表面が放射方向全体に亘って開放されていることにより、放射方向外方から画像入力操作をすることができるので、立体的な加工画像を画像情報として入力できる。
【０１９６】
この場合、当該球状の画像情報入力テーブル３の周囲に複数の深さ検出カメラを設けることにより、入力された立体的な画像情報を主制御部４に取り込むことができる。
【０１９７】
かかる構成によれば、さらに多様な画像情報を入力することができる。
【０１９８】
（６−５）上述の第１ないし第４の実施の形態において、圧力調整用電磁弁３６の外気吸入口３６Ａ側に、コンプレッサ、又は圧縮空気を蓄えたタンクを設けるようにしても良い。
【０１９９】
この場合圧力調整用電磁弁３６が画像情報入力テーブル３に外気を送り込むことによって当該画像情報入力テーブル３を軟らかくする際に、コンプレッサ、又はタンクから、圧縮した空気を画像情報入力テーブル３内の気圧が目的気圧になるまで強制的に空気を送り込む。
【０２００】
このようにすれば、画像情報入力テーブル３の軟らかさ調整部材１２が硬い状態から軟らかい状態に変化させる際に、当該変化率を高めることができる。
【０２０１】
（６−６）上述の第１ないし第４の実施の形態において、圧力調整用電磁弁３６の内気吐出口３６Ｂ側に、予め真空圧に設定した減圧タンクを設けるようにしても良い。
【０２０２】
この場合、画像情報入力テーブル３の内部圧力を低下させることにより、当該画像情報入力テーブルを最大硬化目標値にまで低下させる際に、減圧タンクを圧力調整用電磁弁３６の内気吐出口３６Ｂに連結させる。
【０２０３】
この構成によれば、真空ポンプの稼働時間を短縮させながら、画像情報入力テーブル３の硬化速度を十分に高めることができる。
【０２０４】
（６−７）上記各実施の形態の場合において、画像情報入力テーブル３の軟らかさ調整部材１２上に、公知の柔軟性のあるタッチパネルを設けることにより、当該タッチパネルにおいてユーザの画像入力情報（触覚入力）を検出するようにしても良い。
【０２０５】
このようにしても、図１２の場合と同様の作用効果を得ることができる。
【０２０６】
（６−８）第１ないし第４の実施の形態においては、軟らかさ調整部材１２上に設けた接触表示面部材１６上に、プロジェクタ３３によって制御部本体３１から供給される画像表示信号Ｓ４によって画像を投影するようにしたが、これに代え、接触表示面部材１６として、柔軟性のある膜状のディスプレイデバイスを用いて画像情報を映出させるようにても良い。
【０２０７】
このようにすれば、全体としての構成が一段と簡易・小型な画像情報入力装置を得ることができる。
【０２０８】
（６−９）第１ないし第４の実施の形態のタッチ検出及び映像投影方式の画像情報入力テーブル３に代えて、透明樹脂や、透明ガラス素材を用いると共に、当該画像情報テーブル内を接触表示面部材１６と同じ屈折率をもつ液体で満たし、これによりテーブル内部を透明化するようにしても良い。
【０２０９】
この場合、画像情報テーブルの下部にはタッチ検出のための赤外線光源と赤外線カメラ、又は映像投影のための可視光プロジェクタを設置する。
【０２１０】
またこの場合、画像情報テーブル表面の素材には、柔軟性があり、可視光を拡散させ、赤外光をある程度透過させる素材を用いる。
【０２１１】
このような構成において、画像情報テーブルの下部から当該画像情報テーブル面に対して一様に赤外線を照射すると、赤外線はテーブル面を透過して外部に漏れる。
【０２１２】
漏れた赤外線は接近した指で拡散し、テーブル下部の赤外線カメラに撮影される。
【０２１３】
ここで、タッチ検出の仕方はカメラを用いるものであれば何でも良い。
【０２１４】
この場合硬さの制御は空気の代わりに水を吸い出すことでテーブルの硬さを制御する。
【０２１５】
かかる構成によれば、画像情報テーブルの下部からのタッチ検出、又映像投影が可能になり、上部にカメラ、プロジェクタを設置する必要がなくなる。
【産業上の利用可能性】
【０２１６】
本発明は接触型画面を用いたユーザインタフェース装置に利用できる。
【符号の説明】
【０２１７】
１……画像情報入力装置（ユーザインタフェース装置）、２……画像表示画面部、２Ａ……表示面、２Ｂ……画像操作領域、２Ｃ……操作入力領域、２Ｃ１……軟らかさ設定操作子、２Ｃ２……色指定操作子、２Ｃ３……動作モード設定操作子、２Ｃ３１……形状加工モードボタン、２Ｃ３２……画像編集モードボタン、２Ｃ３３……画像情報取込みボタン、３……画像情報入力テーブル、４……主制御部、１１……筐体、１２……軟らかさ調整部材、１３……軟らかさ調整部材収納部、１６……接触表示面部材、２１……触覚入力受付部、２２……表示制御部、２３……軟らかさレベル指定部、２４……軟らかさ制御部、２５……圧力検出器、３１……制御部本体、３２……制御部要素、３３……プロジェクタ、３４……深さ検出カメラ、３５……真空ポンプ、３６……圧力調整用電磁弁、３６Ａ……外気吸入口、３６Ｂ……内気吐出口、４０……形状加工治具、４１……形状加工用真空ポンプ、４９、５０……電空レギュレータ、５１……軟らかさ付与選択操作子、５１Ａ……「軟」ボタン、５１Ｂ……「硬」ボタン、５１Ｃ……「中間」ボタン、５１Ｄ……「徐硬」ボタン、５１Ｅ……「徐軟」ボタン、５１Ｆ……「硬急軟」ボタン、５１Ｇ……「軟急硬」ボタン、５５……ペン描画状態検出部材、５６……描画ペン、５８……描画ツール選択操作子、５８Ａ……ペン選択操作子、５８Ｂ……ふで選択操作子、５８Ｃ……消しゴム選択操作子

Claims (7)

1. 軟らかい膜材でなりかつユーザによってその表面に対して３次元的加工がなされる接触面部材を含む筐体と、
   上記筐体によって閉塞された領域内に封止された、多数の軟らかさ調整用粒子を含む軟らかさ調整部材と、
   封止状態にある上記軟らかさ調整用粒子の相互間の接触圧の強弱に従って当該接触圧が変化することにより上記軟らかさ調整部材の軟らかさが変化することを利用して、上記軟らかさ調整用粒子相互間の上記接触圧を制御することにより、上記接触面部材の軟らかさを調整する軟らかさ制御手段と
   を具え、
   上記軟らかさ制御手段は、ユーザによる上記軟らかさ調整部材の軟らかさの指定に応じて、上記閉塞された上記筐体内の圧力を制御することにより、上記接触面部材の表面に軟らかさの触感を与える
   ことを特徴とするユーザインタフェース装置。
2. 上記接触面部材の表面に対する接触による入力操作を受け付ける触覚入力受付部を
   さらに具えることを特徴とする請求項１に記載のユーザインタフェース装置。
3. 上記接触面部材に画像を表示させる表示制御部を
   さらに具えることを特徴とする請求項１から２のいずれか１項に記載のユーザインタフェース装置。
4. 上記接触面部材の表面の凹凸形状を表すデータを取得する表面凹凸取得手段を
   さらに具えることを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
5. 上記軟らかさ制御部は、ユーザによる上記軟らかさ調整部材の軟らかさの変化の指定に応じて、当該指定された軟らかさの変化態様に従って上記筐体内の圧力の変化を制御することにより、上記接触面部材の表面に軟らかさの変化の触感を与える
   ことを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
6. 上記軟らかさ制御部は、上記軟らかさ調整用粒子相互間の上記接触圧を制御することにより、上記軟らかさ調整部材の上記接触面部材の軟らかさを、「粉状」の成形不可状態、又は「粘土状」の変形可能状態、又は硬化した変形不可状態に調整する
   ことを特徴とする請求項１から５のいずれか１項に記載のユーザインタフェース装置。
7. ユーザが上記接触面部材の表面上に描画ペンを用いて行った入力内容を検出するペン描画状態検出部材を、上記軟らかさ調整部材を挟んで上記接触面部材と対向する側に
   具えることを特徴とする請求項１から６のいずれか１項に記載のユーザインタフェース装置。

Images