JP2014010161A - 表示入力装置 - Google Patents

Abstract

【課題】空間に投影される空間像を、操作者の発する音声や音等により操作することのできる表示入力装置を提供する。
【解決手段】本発明の表示入力装置は、上面が開口したケース１０の上部に、パネル状の結像光学素子１が、ケース１０の上面開口部の所定位置に配設され、上記結像光学素子１に対応するケース下部に、フラットパネルディスプレイＤの載置台３が結像光学素子１に対して所定角度傾斜した状態で配置され、上記フラットパネルディスプレイＤに表示された画像Ｉが、結像光学素子１から離れた位置に空間像Ｉ’として結像するとともに、このケース１０の内部に、周囲の音声または音を検出する音声検出器（マイクロホン４）と、入力された音声または音を解析し指示信号に変換してフラットパネルディスプレイＤの制御手段に伝達する音声認識手段と、スピーカー５とが配設されている。
【選択図】図１

Description

本発明は、写真等の二次元画像を空間に浮かび上がった空間像として表示するとともに、この空間像を、操作者の音声や音によりインタラクティブに操作することのできる表示入力装置に関するものである。

空間に画像や映像等を表示（投影）する方式としては、二眼方式，多眼方式，空間像方式，体積表示方式，ホログラム方式等が知られており、近年では、上記空間に表示された二次元映像または三次元映像（空間像）を、手や指等（以下「手指」という）を用いて直感的に相互作用的操作（インタラクション）可能な表示入力装置が提案されている。

このような表示入力装置における手指の認識入力手段（ユーザインタフェース）として、多数のＬＥＤやランプ等により、検知領域（平面）に縦横の光の格子を形成し、入力体（手指等）による光の格子の遮蔽（遮光）を受光素子等で検知して、その入力体の位置や座標等を検出するシステムが提案されている（特許文献１，２を参照）。

特開２００５−１４１１０２号公報 特開２００７−１５６３７０号公報

しかしながら、上記表示入力装置は、いつも手近に設置されているとは限らず、手指をキーボード等の他の作業に使用している際は、離れた位置から操作したい場合もある。また、上記光の格子を用いた認識入力手段は、手指が不自由な身体障害者や身体を動かすこのできない患者等が使用できないという不都合もある。

本発明は、このような事情に鑑みなされたもので、空間に投影される空間像を、操作者の発する音声や音等により操作することのできる表示入力装置の提供をその目的とする。

上記の目的を達成するため、本発明の表示入力装置は、フラットパネルディスプレイの表示面に表示された画像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、操作者の指示入力に対応して、上記フラットパネルディスプレイの映像をインタラクティブに更新する表示入力装置であって、フラットパネルディスプレイを載置するための載置台と、このフラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、これらを収容するケースと、音声検出器および音声認識手段とを備え、上記結像光学素子が、上記ケースの上面開口部の所定位置に配設され、この結像光学素子に対応するケース下部の位置に、上記載置台が上記結像光学素子に対して所定角度傾斜した状態で配置され、上記音声検出器が、上記ケースの周囲の音声または音を検出し上記音声認識手段に入力するように配設されているとともに、上記音声認識手段が、上記音声検出器より入力された音声または音を解析して指示信号に変換し上記制御手段に伝達するようになっており、上記制御手段が、この指示信号にもとづき、上記フラットパネルディスプレイに、この指示信号に対応した映像を表示させるようになっているという構成をとる。

すなわち、本発明者は、前記課題を解決するため研究を重ね、その結果、パネル状の結像光学素子を用いて、フラットパネルディスプレイを収容するケースの上方に、写真等の二次元画像を浮かび上がった（立ち上がった）状態で結像させるとともに、その結像光学素子の周囲の適切な位置に、操作者の音声または音を検出するマイクロホン等の音声検出器と、この音声検出器が取得（聴聞）した音声等をパターン比較により解析する音声認識手段とを配置することにより、従来例のような手指等の位置を検出する光学的手段を用いることなく、簡単かつ容易に立体的な上記画像を操作できることを見出した。

本発明の表示入力装置は、フラットパネルディスプレイを載置するための載置台と、このフラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、これらを収容するケースとを備え、上記結像光学素子が、上記ケースの上面開口部の所定位置に配設され、この結像光学素子に対応するケース下部の位置に、上記載置台が上記結像光学素子に対して所定角度傾斜した状態で配置されている。また、この表示入力装置は、音声検出器および音声認識手段とを備え、上記音声検出器が、上記ケースの周囲の音声または音を検出し上記音声認識手段に入力するように配設され、上記音声認識手段が、上記音声検出器より入力された音声または音を解析し、これを指示信号に変換して上記制御手段に伝達するとともに、この指示信号にもとづき、上記制御手段が、上記フラットパネルディスプレイに、上記指示信号（操作入力）に対応した映像を表示するようになっている。そのため、本発明の表示入力装置は、操作者が手指等を用いることなく、音声または音だけで簡単に入力操作を行うことができる。しかも、上記表示入力装置は、誰でも直感的に操作できる、ユーザフレンドリーな装置とすることができる。

また、本発明の表示入力装置のなかでも、上記指示信号に対応した音声または音を出力する音声出力手段を備えるものは、上記音声または音による入力操作の結果（反応）が分かり易く、上記表示される立体的二次元画像の更新（変化）を、よりはっきりと認識することができる。したがって、本発明の表示入力装置は、上記立体的二次元画像の臨場感を向上させることができる。

本発明の実施形態における表示入力装置の構成を示す断面図である。 本発明の実施形態における表示入力装置の使用方法を説明する図である。 本発明の実施形態の表示入力装置にフラットパネルディスプレイをセットする方法を説明する一部断面図である。 （ａ）は本発明の実施形態で用いるマイクロミラーアレイの模式的拡大図であり、（ｂ）はマイクロミラーアレイによる空間像の結像様式を説明する図である。 本発明の表示入力装置における音声入力および映像出力の処理過程を示すフロー図である。 本発明の表示入力装置における描画処理のフローチャートである。 （ａ）は本発明の表示入力装置における描画処理以外の処理のフローチャートであり、（ｂ）は音声読み上げ処理のフローチャートである。

つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。

図１は、本実施形態における表示入力装置の構成を示す模式的断面図であり、図２は、上記表示入力装置の使用方法を説明する図である。なお、本例においては、フラットパネルディスプレイ（符号Ｄ）には、携帯電話（スマートフォン等）の液晶表示画面（ＬＣＤ）を利用している。また、図中の符号Ｅは操作者の視点位置を示し、その白抜き矢印は、操作者の視線の方向を示すとともに、図中の符号２は、ケース１０の上面開口を蓋する透明な板状部材（透明板）を示している。また、同図では、ＬＣＤ画面に表示される「画像」（図１中の太線矢印Ｉ等）および投影される「空間像」（図１中の太線矢印Ｉ’等）は、その厚みを強調して図示している。

本実施形態の表示入力装置は、図１のように、上面開口形の有底箱状のケース１０の中に、フラットパネルディスプレイＤを載置するための載置台３と、パネル状の結像光学素子１と、ケース１０外部の音声等を検出する音声検出器（マイクロホン４）と、上記フラットパネルディスプレイＤの表示に対応した音声や音等を出力するための音声出力手段（スピーカー５）等が配設されている。また、このケース１０内の載置台３に載置された上記スマートフォン（Ｄ）は、上記フラットパネルディスプレイＤの表示を制御する制御手段、および、上記マイクロホン４で検出された音声等を解析する音声認識手段（いずれも、スマートフォンに内蔵のプログラムまたはアプリケーション，図示省略）を備えている。これが、本発明の表示入力装置の特徴である。

上記表示入力装置について、詳しく説明すると、上記ケース１０の上面開口部に配設されてこのケース１０を蓋する透明板２は、ケース開口方向（上下方向）の光の透過（空間像Ｉ’の結像）と、上記結像光学素子１等の取り付け（位置決め固定）のために設けられているもので、ガラス板やアクリル樹脂板等、可視光領域の光透過率が８０％以上の硬質な板状部材から形成されている。

上記透明板に取り付けられるパネル状の結像光学素子１は、その一方の面側に存在する画像Ｉや映像等を、他方の面側に実像（空間像Ｉ’）として結像させる結像機能を備えるもので、本発明の表示入力装置には、フレネルレンズ等を含む各種レンズや、アフォーカル光学系のマイクロミラー，コーナーリフレクタ等の屈折型結像素子、マイクロレンズアレイ等の正立等倍型結像素子を用いることができる。なかでも、本実施形態においては、図１のように、結像光学素子１の素子面Ｐに対して面対称の位置に像を結ぶ、マイクロミラーアレイ（凸型コーナーリフレクタアレイ、詳細構造は図４を参照）が好適に使用される。なお、この例では、上記マイクロミラーアレイ（結像光学素子１）が、上記ケース１０の上面開口部に取り付けられた透明板２（蓋部材）の下面（内面）側に取り付けられているが、上記透明板２に結像光学素子１と同形状の開口（穴）を設け、この開口に嵌め込んで固定するようにしてもよい。

このマイクロミラーアレイ（コーナーリフレクタアレイ）について、より詳しく説明すると、このマイクロミラーアレイは、図４（ａ）に示すように、基板（基盤）１１の下面（図１における結像光学素子１の下面１ｂ側）に、下向き凸状の多数の微小な単位光学素子１２（コーナーリフレクタ）が、斜め碁盤目状に並ぶように配列されている。それぞれの単位光学素子１２は、各コーナー１２ｃを構成する２つの光反射面（第１の側面１２ａ，第２の側面１２ｂ）が、操作者の視点の方向（図１，図２におけるＥ側）を向くようになっている。なお、このマイクロミラーアレイ（結像光学素子１）を上から見た場合、図４（ｂ）のように、上記アレイは、その外縁（外辺）を上記ケース１０の正面（操作者側であるＥ側）に対して４５°回転させて配設されており、結像光学素子１の下側の画像Ｉが、この結像光学素子１に対して面対称の位置（結像光学素子１の上方）に空間像Ｉ’を結像するようになっている。

上記フラットパネルディスプレイＤを載置するための載置台３は、図１，図２に示すように、板状部材３ａと、この板状部材３ａを斜めに起立した状態で支持する左右一対の基台３ｂ，３ｂとからなり、ケース１０内部の、上記結像光学素子１の下面１ｂに対峙する位置（結像光学素子１の鉛直下方）に配設されている。上記板状部材３ａは、ケース１０の底面および結像光学素子１の素子面Ｐ（または結像光学素子１の下面１ｂ）に対して所定角α傾いた状態で、上記基台３ｂ，３ｂに支持・固定されており、その上面が、フラットパネルディスプレイＤの載置面となっている。そして、上記載置台３の載置面（板状部材３ａの上）に、フラットパネルディスプレイＤを備えるスマートフォン等を載置することにより、上記フラットパネルディスプレイＤの表示面Ｄａが、結像光学素子１の素子面Ｐに対してα°傾いた状態で保持されるようになっている。なお、ケース１０内における上記載置台２の、結像光学素子１の素子面Ｐ（下面１ｂ）に対する傾斜角αは、結像光学素子１による結像作用が最適となるように調整されており、通常３０°以上９０°未満、好ましくは４０°以上８０°以下に設定されている。

また、上記画像Ｉの表示に用いられフラットパネルディスプレイＤとしては、バックライトを備える液晶表示パネル（ＬＣＤ）の他、プラズマディスプレイパネル，有機ＥＬ表示パネル等、全可視光波長にわたってなるべく偏りのない「白色」と、非表示時の「黒色」とを、コントラスト良く再現できるディスプレイパネルを使用することが望ましい。なお、フラットパネルディスプレイＤは、この例のように携帯電話または携帯情報端末等の表示部であってもよく、具体的には、スマートフォン，タブレット型ＰＣ，デジタルフォトフレームや、携帯型ゲーム機，携帯型ブックリーダー，ＰＤＡ，電子辞書等のうち、その表示部が常時露出する（カバーされていない）タイプのなかで、上記載置台３上に載置できるサイズのものを使用することができる。

本実施形態では、ケース１０に、音声検出器と音声認識手段とを備えている。この音声検出器としては、図１に示すように、マイクロホン４が用いられる。このマイクロホン４は、ケース１０の正面側（操作者Ｅ側）に配置されている。マイクロホン４としては、通常の音声等の取得に用いられるタイプのなかで、ムービング・コイル型，コンデンサ型，リボン型等が用いられる。また、上記マイクロホン４が配設されているケース１０の側面（壁面）には、図１のように、外部に連通する貫通孔１０ａが設けられており、この貫通孔１０ａを通じて、上記マイクロホン４が、ケース１０周囲の外部において操作者等が発する音声等（鎖線矢印Ｖ）を検出することができるようになっている。

なお、上記マイクロホン４には、図示しない電源が接続されているとともに、上記音声認識手段を兼用するスマートフォンとの接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線接続、あるいは、ケーブル等を用いた有線接続により行われる。また、上記マイクロホン４は、ケース１０外部の操作者に近くに配設してもよく、上記スマートフォンに内蔵のマイク、あるいは、外部スピーカーとマイクが一体となったスピーカーホンや、イヤホン，ヘッドホンとマイクが一体となったイヤホンマイク（ヘッドセット）等を使用してもよい。これらと上記音声認識手段との接続も、無線または有線のどちらでもよく、用いられるマイク（マイクロホン）の指向性も、その使用形態により適宜選択される。

また、本実施形態では、上記音声認識手段として、スマートフォン（Ｄ）等に内蔵のプログラムまたはアプリケーション等を利用している。この音声認識手段（後記の音声認識エンジン）は、上記マイクロホン４より入力された音声または音を解析して指示信号に変換し、この指示信号を、同じスマートフォンに搭載された制御手段（フラットパネルディスプレイＤのコントローラ）に伝達するようになっている。そして、この指示信号にもとづき、上記フラットパネルディスプレイＤのコントローラが、このフラットパネルディスプレイＤに、この指示信号に対応した映像を表示させるようになっている。

なお、上記実施形態では、スマートフォンが、上記音声認識手段としての機能と、上記フラットパネルディスプレイＤの制御手段としての機能と、後記する音声合成用文字列を読み上げる音声出力手段としての機能、および、演算手段や管理手段としての機能の全てを兼用している例を示したが、上記スマートフォンの他に、コンピュータ等からなる制御部（コントローラ）を別途設け、上記表示機能以外の機能をこの制御部で分担するように構成してもよい。

つぎに、ケース１０内には、図１，図２に示すように、上記マイクロホン４と同じ正面側（操作者Ｅ側）に、音声出力手段としてのスピーカー５が配設されている。このスピーカー５は、上記制御手段からの信号により、音声あるいは音等を発声（発音）するもので、電気信号を音波（空気振動）に変換できるものであれば、その配置位置や形式は問わない。例えば、振動板を有するダイナミック型スピーカーや、物体や平板等（この例ではケース１０の側面あるいは全体）の共鳴を利用するタイプのもの等を使用することができる。また、上記スピーカー５が配設されているケース１０の側面（壁面）にも、図１のように、外部に連通する貫通孔１０ｂが複数設けられており、このスピーカー５が発する音声等（鎖線矢印Ｓ）が、外部に伝達されるようになっている。上記スピーカー５は、ケース１０の左右の横側面、または、操作者から見て奥側（後側）の側面に配設してもよい。

なお、上記スピーカー５には、図示しない駆動用電源等が接続されているとともに、上記制御手段を兼用するスマートフォンとの接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線接続、あるいは、ケーブル等を用いた有線接続により行われる。また、上記スピーカー５は、ケース１０外部の操作者に近くに配設してもよく、上記スマートフォンに内蔵のスピーカー、あるいは、先に述べたようなスピーカーホン，イヤホンマイク，ヘッドセット等のスピーカー（イヤホン）を利用してもよい。この場合も、これらと上記制御手段との接続は、無線または有線のどちらでもよく、用いられるスピーカーの指向性も、その使用形態により適宜選択される。

そして、上記各部材を収容するケース１０は、図１のように、その上面の開口部に前記透明板２が配置されているとともに、ケース１０の内面は、光による乱反射を防止するために、黒色（色度０，彩度０，明度０）もしくはこれに近い暗色とされている。なお、このケース１０の一側面には、図２，図３に示すように、上記フラットパネルディスプレイＤ（図ではスマートフォン）をこのケース１０の内部（載置台３の上）に挿入するためのスリット状の挿入口１０ｃが設けられている。

つぎに、上記フラットパネルディスプレイＤ（スマートフォン）を用いて、上記ケース１０の上方に、画像Ｉの実像（空間像Ｉ’）を投影・表示する方法について説明する。

上記表示入力装置において、上記画像Ｉを表示（投影）する場合、まず、フラットパネルディスプレイＤを備えるスマートフォンを準備し、このフラットパネルディスプレイＤに所定の加工（背景色変更やコントラスト向上等の画像処理）を施した画像Ｉ（図２，図３では、例として「犬の写真」）を表示させ、このスマートフォンを、上記画像Ｉの上下（天地）が逆さまなるようにして、上記挿入口１０ｃのあるケース１０の側面近傍まで移動させる（図２，図３の矢印Ａ参照）。

つぎに、上記画像Ｉが逆さまの状態のまま、上記スマートフォンを、上記挿入口１０ｃからケース１０の内部へ押し込む（図２，図３の矢印Ｂ）と、このスマートフォンが載置面上を横にスライドして、載置台３上の所定位置にセットされる（図２，図３のＣ位置）。これにより、上記フラットパネルディスプレイＤの画面に表示された平面的な二次元画像Ｉ（写真等）が、奥行き感を持った空間像Ｉ’（立体的二次元画像）として、パネル状の結像光学素子１の上方に表示（投影）される〔図２参照〕。

なお、上記載置台３が、上記携帯電話や携帯情報端末等の充電（充電スタンドまたはクレードル）機能を備えるように構成すれば、上記画像Ｉの表示中でも各機器の充電を済ますことが可能で、その充電のための時間を有効に活用することができる。

つぎに、上記音声検出器（マイクロホン）と、音声認識手段および制御手段（この例では、スマートフォンに内蔵）等を用いた、音声入力とそれに対応した画像表示（処理）について、その過程（ステップ）ごとに順を追って説明する。

図５は、本発明の表示入力装置における音声入力および映像出力の処理の全体像を示すフロー図であり、図６は描画処理のフローチャート、図７（ａ）は描画処理以外の処理のフローチャート、図７（ｂ）は音声読み上げ処理のフローチャートを示す。

操作者の音声または音等による指示入力は、上記マイクロホンにより検出され、その音の波形等の音声データ（入力データ）が、音声認識手段（音声認識エンジン）に渡される。そして、この音声認識エンジンが、受け取った音声データから、パターン認識（比較）により特定のキーワードの有無を判断する。〔図５の左部分を参照〕

上記音声データ中に上記特定のキーワードに相当する部位が見つかった場合、音声認識エンジンは、そのキーワードに対応するイベント（アクション情報を含む制御信号）を、コンピュータやスマートフォン等の演算手段（イベント処理エンジン）に向けて発行する。〔図５の左部分を参照〕

上記イベントを受けたイベント処理エンジンは、フラットパネルディスプレイの制御手段（描画エンジン）に向けて、モーション（映像）変更のフラグ（制御コード等の通知信号）を発行する。このフラグを受けた描画エンジンは、フラットパネルディスプレイ上の映像（画像）を、上記キーワードに対応する映像（画像出力データ）に更新（差し替えまたはレンダリング）し、この映像の更新が完了した後、変更完了のイベントを、上記イベント処理エンジンに向けて発行する。〔図５の右部分を参照〕

つぎに、表示入力装置が、音声出力手段（スピーカー）および音声合成手段（音声合成エンジン）を備える場合、上記イベント処理エンジンは、変更完了のイベントを受け取ると、音声合成エンジンに向けて、所定の音声合成用文字列（音声出力データ）を渡す。〔図５の中央部分を参照〕

上記音声合成エンジンは、渡された音声合成用文字列を読み上げ、上記スピーカーを通じて、上記文字列をメッセージとして発音（発声）する。そして、文字列を読み上げの完了後、読み上げ完了のフラグを上記描画エンジンに向けて発行する。〔図７（ｂ）参照〕

上記読み上げ完了のフラグを受けた描画エンジンは、上記キーワードに対応する映像（音声合成用文字列に対応した映像）を中止・完了し、音声または音等による指示入力前の映像もしくは他の画像に更新（差し替えまたはレンダリング）して、処理を終了する。〔図６参照〕

なお、上記制御手段（スマートフォン）を用いた画像表示処理と、音声出力手段（スピーカー）および音声合成手段（音声合成エンジン）による文字列の読み上げ処理は、音声または音等による指示入力に対応する以外にも利用される。

例えば、図７（ａ）に示すように、上記イベント処理エンジンに、時計等からのイベント（時刻データ等）が入力されるように構成した場合、毎正時ごとに表示画像を変えたり、現在時刻を読み上げさせたりすることができる。また、上記スマートフォン等のバッテリー残量計のデータ等が入力されるように構成した場合、バッテリー残量低下の警告表示や、その警告を音声で知らせたりすることができる。さらに、上記スマートフォン等のＥ−メール・ＳＭＳの受信やスケジュール管理、あるいは、Ｗｅｂ上のニュース，天気予報，電車等の運行状況，地震等の災害速報や、Ｔｗｉｔｔｅｒ（登録商標），ＳＮＳ等の情報更新（新着）のイベントが入力されるように構成した場合、これらの情報の更新を表示（サイン）を変えて表示し、その更新を音声で知らせたりすることもできる。

そして、上記スマートフォンの機能を利用して、上記各映像，情報や、自分の分身となるキャラクター（アバター）等を、空間像として投影しながら通話することもできる。さらに、上記表示入力装置が、カメラ等の光学的撮像手段を備える場合、複数台をネットワークを介して接続することにより、通話相手を、立体的にかつ臨場感豊かに表示することのできる通話手段（テレビ電話）として機能させることも可能である。

なお、上記実施形態では、音声認識手段，制御手段，音声出力手段，演算手段等で用いられるプログラム（エンジン）を、スマートフォン等のローカルで運用する例を示したが、これら各プログラムは、前記別途用意したコントローラ等に分散配置してもよく、また、クラウド等のネットワークを介した外部（サーバ等）に配置してもよい。

本発明の表示入力装置は、入力システムを意識することなく、空間像を直感的に操作することができるため、空間像と簡単にインタラクションできるユーザインタフェースデバイスとすることができる。

１ 結像光学素子
３ 載置台
４ マイクロホン
５ スピーカー
１０ ケース
Ｄ フラットパネルディスプレイ
Ｉ 画像
Ｉ’ 空間像

Claims (2)

1. フラットパネルディスプレイの表示面に表示された画像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、操作者の指示入力に対応して、上記フラットパネルディスプレイの映像をインタラクティブに更新する表示入力装置であって、フラットパネルディスプレイを載置するための載置台と、このフラットパネルディスプレイの制御手段と、パネル状の結像光学素子と、これらを収容するケースと、音声検出器および音声認識手段とを備え、上記結像光学素子が、上記ケースの上面開口部の所定位置に配設され、この結像光学素子に対応するケース下部の位置に、上記載置台が上記結像光学素子に対して所定角度傾斜した状態で配置され、上記音声検出器が、上記ケースの周囲の音声または音を検出し上記音声認識手段に入力するように配設されているとともに、上記音声認識手段が、上記音声検出器より入力された音声または音を解析して指示信号に変換し上記制御手段に伝達するようになっており、上記制御手段が、この指示信号にもとづき、上記フラットパネルディスプレイに、この指示信号に対応した映像を表示させるようになっていることを特徴とする表示入力装置。
2. 上記指示信号に対応した音声または音を出力する音声出力手段を備える請求項１記載の表示入力装置。