JP3478192B2 - 画面重畳表示型情報入出力装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報入出力装置に関
し、特に、情報が表示されている画面に対して別の画面
において表示されている情報を重畳表示する情報入出力
装置に関する。後の説明でも明らかとされるように、本
発明は、利用者に対して、複数の画面の情報を、同時
に、かつ、垂直方向に複数の画面を物理的に分離して提
示することで情報処理作業の効率化に好適とされる情報
入出力装置に関する。

【０００２】

【従来の技術】従来、表示装置の画面に多くの情報を表
示しながら情報処理作業を行う環境として、同一平面内
に情報を配置する方法が用いられている。これらは、一
般に、グラフィカルユーザインタフェース(「ＧＵＩ」
と略記される)と呼ばれている。ＧＵＩの多くにおいて
は、表示装置の表示画面上にウインドウを表示し、この
ウインドウに情報を表示する形態をとっている。この場
合、ウインドウは、情報を提示し管理する表現上の単位
と考えてよい。

【０００３】一般的なウインドウ表示システムでは、表
示装置の一画面上に複数個表示されるウインドウのう
ち、最も前面にあるウインドウだけがその全領域が表示
され、該ウインドウの下側に隠れたウインドウは部分的
に表示されるか、あるいは、場合によってはウインドウ
が完全に隠れてしまう。

【０００４】このため、隠れたウインドウに対してアク
セスするには、一旦、対象となるウインドウをアクティ
ブとして、最前面へウインドウを移動する操作が行われ
る。

【０００５】この結果、それまでアクティブとされてい
たウインドウは非アクティブになり、表示上の前後の関
係が入れ替わる。

【０００６】複数のウインドウを一画面上に表示する場
合には、各ウインドウの指定や切り替えを素早く行うた
めのユーザインタフェースが必要とされる。例えばＭｉ
ｃｒｏｓｏｆｔ社のオペレーティングシステムであるＷ
ｉｎｄｏｗｓ（登録商標)では、タスクバーやデスクト
ップ上にウインドウ切り替え用のショートカットアイコ
ンを配置したり、あるいはキーボードにウインドウ切り
替え用のショートカットキーを割り当てるなどの方法に
よって、アクティブにするウインドウの切り替えを素早
く行うための配慮がなされている。

【０００７】一画面上に複数の情報を提示する別の方法
としては、画面を切り替えて表示する方法が知られてい
る。また表示装置の画面サイズを大きくして、解像度を
高くとることで、表示可能な情報量を増やす方法や、表
示装置を複数備え表示画面を数を多くするといった方法
が用いられる。

【０００８】またタッチパネルディスプレイを用いたア
プリケーションソフトウェアをはじめとして、多くのア
プリケーションソフトウェアでは、もっぱら、平面的な
ＧＵＩが用いられており、画面上に表示されたボタンイ
メージをタッチパネル上から指で押下したり、もしくは
マウスのボタンをクリックする等のポインティング操作
が行われ、操作に対する反応として、ボタンイメージを
ハイライト表示する、あるいはボタンイメージの色を変
える、あるいはボタンイメージをブリンクする、あるい
はボタンイメージを凹ませたビットマップイメージに変
更する、などの方法が用いられている。

【０００９】ところで、複数の画面を重畳表示する従来
の表示装置として、例えばハーフミラーを用いたものが
知られている。あるいは平面反射分光器やコンバイナ、
ビームスプリッタ等と称される類似の機能を持つ光学デ
バイスが用いられているが、これらの光学デバイスを総
称して、ここでは、「ハーフミラー」と呼ぶ。

【００１０】この種の従来の装置として、例えば特開平
１０−１２３９７４号公報には、２つの面光源から出射
しそれぞれ記銘板を通った光を透過、反射させるハーフ
ミラーを備え、２種類以上の画像情報を表示させる切換
表示装置が開示されており、また特開平７−２８７１８
６号公報には、２つの液晶ディスプレイとハーフミラー
を備えた構成の眼前装着型表示装置が開示されている。
さらに特開平１０−７９９０６号公報には、液晶表示パ
ネル２枚と、２つの画像を合成するためのハーフミラ
ー、及び２枚の液晶表示パネルに表示する画像のサンプ
リングを行う回路とサンプリングされた映像信号を液晶
表示パネルドライバに供給する信号切替スイッチを備え
た液晶テレビジョンモニタの構成が開示されている。ま
た特表平９−５０７３１１号には、複数の画像／可視事
象の合成体を生成する画像合成装置であって、観者の視
点から、前後、並んで、重ね合わせ且つ交差させて配さ
れる隣接形式で表示される少なくとも一つの投影された
実像を具備した構成が開示されている。

【００１１】さらに例えば特開平０４−０７７０８７号
公報には、撮像点から対象物までの距離にそれぞれ対応
した複数の画像を観察者に対する光学的視距離がそれぞ
れ異なる複数の表示位置に該光学的視距離の大小が前記
距離の大小のごとく視覚的に重畳して表示する立体画像
表示装置において、複数の画像をそれぞれ表示する複数
の透明型表示器を、複数の表示位置にそれぞれ配置する
ことで、特別な眼鏡や、表示器あるいは光学系の可動部
を不要とした立体画像表示装置が提案されている。

【００１２】

【発明が解決しようとする課題】上記したように、従来
より、情報表示のために一般に用いられているディスプ
レイは、ＣＲＴ、液晶表示パネル（ＬＣＤ）等の平面型
のディスプレイであり、単一の平面（画面）上に複数の
情報が表示されている。

【００１３】この種のディスプレイを用いた従来のＧＵ
Ｉでは、仮想的な紙片ともいえるウインドウを情報の管
理単位としており、ウインドウ上にテキストやビットマ
ップイメージ、操作用のアイコンやメニューなどが配置
される。

【００１４】また、ウインドウを複数表示するための領
域として、画面上に、仮想的な机上面ともいえる「デス
クトップ領域」と呼ばれる領域が設けられ、このデスク
トップ領域上に、各ウインドウを重ねたり、アイコン化
して配置することで、作業が行われる。

【００１５】しかしながら、従来の情報表示装置および
情報入出力装置は、下記記載の問題点を有している。

【００１６】第１の問題点は、従来のＧＵＩ画面に多く
の情報を表示した場合に、利用者は、どこに着目すべき
なのかを直ちに把握することが容易でない、ということ
である。

【００１７】その理由は、従来の表示装置では、同一平
面（画面）上に情報を配置するしかなく、一度に表示す
る情報を多くしようとすると、個々の情報の表示サイズ
を小さく表示するか、あるいは、情報を重ねて表示する
しかなく、その結果、情報が見づらくなる、ためであ
る。

【００１８】また、着目すべき情報をハイライト表示し
たり、あるいはその回りを枠で囲むなどして、情報を強
調する方法も用いても、他の情報と一緒に同一平面上に
配置されているため、表現としての明確さは十分ではな
い。

【００１９】第２の問題点は、前面のウインドウの下に
隠れてしまっているウインドウを探したり、ウインドウ
を前面に出したりする操作が煩雑である、ということで
ある。

【００２０】一般的なウインドウ表示システムでは、最
前面に位置するウインドウはその全体が表示され、それ
以外のウインドウは他のウインドウによって、部分的
に、あるいは、場合によってはウインドウ全体が隠れて
しまう場合があり、このようにウインドウが隠れてしま
うと、目的とするウインドウが探しにくいことに加え
て、別のウインドウ上の情報が参照しにくい、ウインド
ウやウインドウが表示している情報の一覧性に欠ける、
という問題が生じる。

【００２１】また、隠れているウインドウを確実に表示
するためには、対象となるウインドウをアクティブにす
る必要があるが、同一画面上に多数のウインドウを表示
している場合には、目的とするウインドウを画面上で直
接指定すること自体も難しくなる。

【００２２】そして、アクティブ状態にあるウインドウ
を切り替えることで、それまでにアクティブ状態であっ
たウインドウの画面は非アクティブとなって、表示の前
後関係が入れ替わり、今まで見えていた情報がアクティ
ブなウインドウに隠れて見えなくなる場合がある。

【００２３】この問題の解決策として、一般に、各ウイ
ンドウの指定や切り替えを素早く行えるようなユーザイ
ンタフェースを併用する方法が用いられている。Ｗｉｎ
ｄｏｗｓ（登録商標）を例に説明すると、タスクバーな
どの汎用領域にウインドウ切り替え用のショートカット
を配置する、あるいは、キーボードにウインドウ切り替
え用のショートカットキーを割り当てる、といった方法
によって、アクティブにするウインドウの切り替えを素
早く行うことが可能とされている。

【００２４】しかしながら、この従来の方法では、複数
のウインドウを同時に表示するという要求を満たしてい
ない。

【００２５】そして、複数のウインドウを同時に表示す
るためには、ウインドウサイズを調整して、一画面内に
並べて表示するか、あるいは、ディスプレイを追加し
て、複数画面にするか、あるいは、画面サイズを大きく
するといった方法が挙げられるが、一画面内に並べて表
示する方法では、一つのウインドウあたりに表示できる
情報の量が少なる。

【００２６】一方、表示装置を付加することで画面を追
加したり、画面サイズを大きくする方法では、作業中の
利用者の視線移動距離が長くなり、それぞれのウインド
ウを頻繁に参照しながら行う作業の場合には、作業者の
作業負担が増大する。

【００２７】第３の問題点は、画面を切り替える方法で
は、利用者の視線移動距離は、従来と同じだが、切り替
え前の画面に表示されていた情報を参照しながら、切り
替え後の画面で作業を行うことはできないことから、作
業者が記憶しなければならない情報量が増大する、とい
うことである。

【００２８】第４の問題点は、ＧＵＩが操作実感のある
操作フィードバックを提供できない、ということであ
る。

【００２９】コンピュータや通信端末などの一般的なＧ
ＵＩでは、画面上に配置されたボタンイメージは平面的
であり、利用者がボタンイメージを押下する操作を行っ
た場合に、該操作のフィードバックとして、ビットマッ
プイメージをハイライトしたり、ビットマップイメージ
の色を変える、ビットマップイメージをブリンクする、
ビットマップを凹んだビットマップイメージに変更す
る、といった方法がとられている。

【００３０】しかしながら、ボタンイメージを押下した
ことに対する反応（応答）としては、これら表現は、実
感に欠け、システムが利用者の操作にすでに反応したか
否かが直ちにわかりにくく、このため、利用者は、自分
の行った操作が正しいいものであるか、不安になる場合
も多い。

【００３１】特に、タッチパネルディスプレイを用いた
アプリケーションソフトウェアでは、タッチパネルから
のボタンイメージを押下した場合、その押下感覚が十分
でなく、該押下操作に対してシステムが反応したかどう
かがわかりにくい。

【００３２】その結果、操作者は、前回の操作が正しい
操作であったかについて直ちに確証を得ることができ
ず、場合によっては、タッチディスプレイを不要に強く
押下したり、何度も押下したりするといった、無用な操
作を誘発する原因伴っている。

【００３３】第５の問題点は、従来の重畳表示装置で
は、重畳表示画面と被重畳表示画面とが異なる情報を提
示することが想定されていず、画像の切り替えは、オン
／オフ制御であり、互いの画面の段階的な切り替えや重
ね合わせを行う際に必要となる、画面の明るさやコント
ラストを動的に制御する機能を具備していない、という
ことである。

【００３４】特に、重畳表示部分と重なる被重畳画面側
には、その部分をマスキング処理することで、重畳表示
部分が見やすくなるが、このマスキング処理を、重畳す
る情報の変化に追随して動的に行うことはできない。

【００３５】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、従来の単一の画
面で表示していた情報を、さらにわかりやすく、かつ、
着目すべき情報に対して、利用者の注目を自然に誘導で
きる情報表示装置を提供することにある。

【００３６】本発明の他の目的は、一つの画面に多くの
情報を表示した場合でも、どこに着目すべきなのか、ど
こにフォーカスが当たっているのかが明確にわかり、か
つ、情報やウインドウが重なっている場合でも、下側に
位置する情報がある程度見えるようにした表示装置を提
供することにある。

【００３７】また本発明のさらに別の目的は、タッチパ
ネルディスプレイを用いたアプリケーションソフトウェ
アをはじめとした、コンピュータや通信端末などの一般
的なＧＵＩについて、より操作感のある作業環境を実現
する情報入出力装置を提供することにある。

【００３８】本発明のさらに別の目的は、重畳表示画面
と被重畳表示画面との効果的な重畳表示を実現するとと
もに、画面の明るさやコントラスト、重畳表示部分に対
するマスキング制御を動的に行う情報入出力装置を提供
することにある。これ以外の本発明の目的、特徴、利点
等は、以下説明から当業者には直ちに明らかとされるで
あろう。

【００３９】

【課題を解決するための手段】前記目的を達成する本発
明は、所与の画像から重畳表示用画像、及び被重畳表示
画像をそれぞれ生成する手段と、前記重畳表示用画像の
表示画面と前記被重畳表示用画像の表示画面とを互いに
離間させて配置し、前記重畳表示用画像の表示情報を、
前記被重畳表示画像の表示面から浮かび上がった位置、
又は、前記被重畳表示画像の表示面から沈んだ位置に見
えるように、互いに重畳させて表示させる手段と、を備
える。また本発明においては、前記重畳表示用画像に対
するマスクパターンを作成する手段と、前記マスクパタ
ーンと前記所与の画像から、前記被重畳表示画像を生成
する手段と、を備える。

【００４０】より詳細には、本発明は、所与の画像から
重畳表示する画像部分を抽出し重畳画像として出力する
とともに重畳画像のマスクパターンを生成出力する画像
生成手段と、前記重畳画像抽出手段から出力された重畳
画像を受け取り、エフェクト指定情報に基づき、指定さ
れた画像処理を施してなる重畳表示用画像を出力する第
１のエフェクト手段と、前記マスクパターン生成手段か
ら出力されたマスクパターンを受け取り、エフェクト指
定情報に基づき、指定された画像処理を施してなるマス
クパターン画像を出力する第２のエフェクト手段と、前
記第２のエフェクト手段から出力されたマスクパターン
画像と前記原画像とを合成してベース画像を生成出力す
るベース画像生成手段と、第１のディスプレイと第２の
ディスプレイに表示される前記重畳表示用画像及び前記
ベース画像を重畳させて表示する画像重畳表示手段と、
を少なくとも含む。

【００４１】本発明において、前記画像生成手段は、画
像上の重畳領域を指定する重畳領域指定情報に従い、前
記画像から重畳表示する画像部分を抽出し重畳画像とし
て出力する重畳画像抽出手段と、前記重畳領域指定情報
に基づきマスクパターンを生成するマスクパターン生成
手段と、を含む。また本発明においては、前記画像生成
手段は、画像以外の情報で与えられる重畳位置指定情報
に従って、重畳画像を生成するために必要な重畳画像生
成情報、及び重畳領域指定情報を生成する重畳情報解析
手段と、前記重畳画像生成情報に従い、重畳画像を生成
出力する重畳画像生成手段と、前記重畳領域指定情報に
基づきマスクパターンを生成するマスクパターン生成手
段とを含む構成としてもよい。さらに本発明において
は、前記画像生成手段は、重畳情報が重畳画像として与
えられ、前記重畳画像の形状ならびに重畳位置の解析を
行い、与えられた重畳位置指定情報に従って、重畳領域
指定情報を生成出力する重畳画像解析手段と、前記重畳
領域指定情報に基づきマスクパターンを生成するマスク
パターン生成手段と、を含む構成としてもよい。そし
て、本発明においては、前記画像生成手段は、重畳情報
が重畳画像として与えられ、前記重畳画像が与えられた
基準画像と同一のサイズもしくは画像フォーマットで与
えられ、重畳表示する位置が予め設定されており、前記
重畳画像はそのまま前記第１のエフェクト手段に供給さ
れ、前記画像生成手段が、重畳領域指定情報に基づきマ
スクパターンを生成するマスクパターン生成手段を含む
構成としてもよい。

【００４２】本発明においては、前記重畳表示用画像と
前記ベース画像について前記第１及び第２のディスプレ
イの特性に応じて、明るさ及び／又はコントラストの調
整をそれぞれ行い、前記各ディスプレイへ前記画像を送
る明るさコントラスト制御手段を備える構成としてもよ
い。また本発明においては、前記第１のエフェクト手段
から出力された前記重畳表示用画像と前記ベース画像生
成部から出力された前記ベース画像とを送出するディス
プレイを切替え制御するスイッチ手段を備える構成とし
てもよい。本発明においては、前記第１のエフェクト手
段から出力された前記重畳表示用画像と前記ベース画像
生成部から出力された前記ベース画像とについて、双方
の画像の明るさ、もしくはコントラストを調整すること
で、前記重畳表示用画像と前記ベース画像との切替えを
行う画像切替え手段を備える構成としてもよい。

【００４３】［発明の概要］ 本発明は、制御部から送出された、画像上の重畳領域を
指定する重畳領域指定情報に従い、前記画像から重畳表
示する画像部分を抽出し重畳画像として出力する重畳画
像抽出部と、前記重畳領域指定情報に基づきマスクパタ
ーンを生成するマスクパターン生成部と、を含む画像生
成ユニットと、前記重畳画像抽出部から出力された重畳
画像を受け取り、制御部からのエフェクト指定情報に基
づき、指定された画像処理を施してなる重畳表示用画像
を出力する第１のエフェクト部と、前記マスクパターン
生成から出力されたマスクパターンを受け取り、制御部
からのエフェクト指定情報に基づき、指定された画像処
理を施してなるマスクパターン画像を出力する第２のエ
フェクト部と、前記第２のエフェクト部から出力された
マスクパターン画像と前記原画像とを合成してベース画
像を生成出力するベース画像生成部と、前記第１のエフ
ェクト部から出力された前記重畳表示用画像と前記ベー
ス画像生成部から出力された前記ベース画像とを端末ユ
ニットのどのディスプレイに送出するかを制御するスイ
ッチ部と、前記スイッチ部から送られてきた前記重畳表
示用画像と前記ベース画像について、前記端末ユニット
のディスプレイの特性に応じて、明るさやコントラスト
の調整を行い、前記端末ユニットのディスプレイへ前記
画像を送る明るさコントラスト制御部と、前記第１のエ
フェクト部から出力された前記重畳表示用画像と前記ベ
ース画像生成部から出力された前記ベース画像とについ
て、双方の画像の明るさ、もしくはコントラストを調整
することで、前記重畳表示用画像と前記ベース画像との
切替え制御する画像切替手段と、前記画像生成ユニット
に対して前記重畳領域指定情報を送出し、前記各エフェ
クト部に対して前記エフェクト指定情報を送出するとと
もに、前記スイッチ部の切替指定を行う制御部と、を含
む制御ユニットと、を備え、前記端末ユニットが、第１
及び第２のディスプレイと、前記第１及び／又は第２の
ディスプレイの表示位置を調整する表示位置調整機構
と、前記第１のディスプレイと第２のディスプレイに表
示される前記重畳表示用画像及び前記ベース画像を重畳
させて表示する画像重畳表示手段と、入力用デバイス
と、を含んで構成される。

【００４４】かかる構成の本発明によれば、例えば、画
面上のボタンを押したことに対して、実感のある操作フ
ィードバックを提供する。

【００４５】情報の探索を容易化し、重なっている場合
でも相互の情報が参照しやすい、一覧性にすぐれた表示
環境を提供する。これを実現することで、ウインドウ表
示でも、複数のウインドウを縮小することなくそのまま
のサイズで同時に表示できるようになり、下側に位置す
る情報を参照するために、そのウインドウを参照毎にア
クティブにする必要がなくなるので、作業性が向上す
る。同時に、作業中の利用者の視線移動距離が従来の一
画面の場合と同等なので、複数画面を扱う場合などに比
べて疲労が少ないというメリットも得られる。

【００４６】また、本発明によれば、タッチパネルディ
スプレイを用いたアプリケーションソフトウェアをはじ
めとした、コンピュータや通信端末などの一般的なＧＵ
Ｉを、特別な改良なしに、より操作感のある作業環境と
して提供する。例えば、画面上のボタンを押したことに
対して、実感のある操作フィードバックを提供する。

【００４７】さらに、重畳表示画面と被重畳表示画面と
の効果的な重畳表示を実現し、見やすくわかりやすい表
示環境を提供するために、画面の明るさやコントラス
ト、重畳表示部分に対するマスキング制御を動的に行う
機能を提供する。

【００４８】

【発明の実施の形態】本発明の実施の形態について説明
する。図１は、本発明の一実施の形態に係る情報入出力
装置の構成を示す図である。図１を参照すると、本発明
の一実施の形態に係る情報入出力装置は、重畳表示を行
う原画像（２０）上の部分を指定する重畳領域指定情報
（１０）に従い、原画像（２０）から重畳表示する画像
部分を抽出し、重畳画像として出力する重畳画像抽出部
（１０１）と、重畳領域指定情報に基づきマスクパター
ンを生成するマスクパターン生成部（１０２）とを含む
画像生成ユニット（１００）と、前記重畳画像抽出部
（１０１）から出力された重畳画像を受け取り、エフェ
クト指定情報に基づき、指定された画像処理を施してな
る重畳表示用画像を出力する第１のエフェクト部（１１
３）と、マスクパターン生成部（１０２）から出力され
たマスクパターンを受け取り、エフェクト指定情報に基
づき、指定された画像処理を施してなるマスクパターン
画像を出力する第２のエフェクト部（１１４）と、前記
第２のエフェクト部（１１４）から出力されたマスクパ
ターン画像と原画像（２０）とを合成してベース画像を
生成出力するベース画像生成部（１１５）と、第１のエ
フェクト部（１１３）から出力された前記重畳表示用画
像とベース画像生成部（１１５）から出力された前記ベ
ース画像とを端末ユニット（１２０）のどのディスプレ
イに送出するかを制御するスイッチ部（１１６）と、ス
イッチ部（１１６）から送られてきた前記重畳表示用画
像と前記ベース画像について端末ユニット（１２０）の
ディスプレイの特性に応じて、明るさやコントラストの
調整を行い、端末ユニット（１２０）のディスプレイへ
前記画像を送る明るさコントラスト制御部（１１７、１
１８）と、第１のエフェクト部（１１３）から出力され
た前記重畳表示用画像とベース画像生成部（１１５）か
ら出力された前記ベース画像とについて、双方の画像の
明るさ、もしくはコントラストを調整することで、前記
重畳表示用画像と前記ベース画像との切替え制御する画
像切替手段（１１２）と、前記重畳領域指定情報、前記
エフェクト指定情報を出力するとともに、スイッチ部
（１１６）の切替指定を行う制御部（１１１）と、を含
む制御ユニット（１１０）と、を備え、端末ユニット
（１２０）は、第１、第２のディスプレイ（１２２、１
２３）と、第１及び／又は第２のディスプレイの表示位
置を調整する表示位置調整機構（１２１）と、第１のデ
ィスプレイと第２のディスプレイに表示される前記重畳
表示用画像及び前記ベース画像を重畳させて表示する画
像重畳表示手段（１２４）と、入力用デバイス（１２
５）と、を含む。

【００４９】本発明の一実施の形態においては、重畳表
示用画面と被重畳表示画面（「ベース画面」という）と
を物理的に離して配置することで、重畳表示用画面に表
示している情報の視認性、識別性を高めることができ
る。

【００５０】重畳表示用画面とベース画面との明度やコ
ントラストを調整することで、双方の情報を同時に提示
することができる。例えば、いずれか一方の情報の明度
またはコントラストをバランス良く下げることで、他方
の情報の表示を妨害することなく、一方の情報を提示で
きる。

【００５１】利用者の作業内容や注目点に対して動的に
画面の明度・コントラストを制御することで、画面のス
ムーズな切り替えが行えるだけでなく、切り替え時に、
双方の画面を常に表示しておくことができるため、二つ
の画面でクロスリファレンス（相互参照）を行っている
ような場合には、参照元と参照先が同時に表示され、利
用者の記憶への負荷を低減でき、かつ、効果的に作業が
行えるようになる。

【００５２】例えば、アクティブなウインドウの背後
に、うっすらと非アクティブなウインドウを透過させて
表示しておくことができる。

【００５３】また、画面の切り替えは、双方の画面の明
度やコントラストを排他的に制御する、つまり、一方の
画面を明るくしたら、他方の画面を暗くするといった制
御によって実現できる。そして、これらの制御を段階的
に行うことにより、画面の切り替えも段階的に見せられ
るので、画面切り替えが連続的に行われている印象を与
え、利用者へ与える違和感が軽減できる。

【００５４】本発明では、重畳表示する際に、二つの画
面を物理的に離して提示することで、一つの画面を分離
して各画面へ提示することができる。

【００５５】また双方の画面を同時に提示する場合に
も、二つの画面を物理的に離して提示することで、一画
面で擬似的に二つの画像を重ねるという従来の手法にく
らべて、重なり合った情報に対する分別性が高くなる。
この分別性は、二つの画面を離せば離すほど高くなる。

【００５６】また、このように物理的に画面を離して提
示することによって、従来、一画面平面に縮退していた
情報から、強調したい特定の情報を抽出し、かつ、重畳
画像として浮遊させて表示することができる。すなわ
ち、特定の情報を従来型の画面から抜き出し、物理的に
浮かび上がらせるような表示ができるようになる。

【００５７】このため、従来のＧＵＩ画面をそのまま拡
張して、よりわかりやすく情報を強調できる表示環境を
提供できる。

【００５８】さらに、画面の位置関係を調整すること
で、画面よりも奥に情報を沈ませるような表示効果を実
現できる。この場合に、強調する情報を抽出した残りの
部分にマスク処理を施し、重畳表示することで、重畳表
示がより強調される。

【００５９】マスク処理は、重畳表示画面を効果的に表
示するために、重畳表示部分をベース画面に投射した領
域に施す。また、重畳表示する画像とマスクパターンと
を連動して変化させることで、画面間で情報が徐々に切
り替わるようなワイプ効果など、重畳表示を様々に演出
して利用者の注目を引きつけたりすることができ、画面
やシステムのモード切替などに伴う違和感を軽減でき
る。

【００６０】二つの画面を物理的に離して提示するにあ
たり、それぞれの画面に表示する画像を関連付け、利用
者との操作と連動させることで、より直感的な操作環境
が実現できる。例えば、押下することができるボタンの
イメージを上側の画面に配置し、ベースとなる画面を下
側の画面に配置すれば、ボタンだけがベースから浮き上
がっているように表現することが可能となり、利用者は
画面のどこを押下すればよいのかについて、表示内容か
ら、直感的に、理解することができる。

【００６１】さらに、特定のボタンイメージを押下した
際に、該ボタンイメージのビットマップを上側の画面か
ら消去し、下側のベース画面上に描画することで、あた
かもボタンが上側から下側に移動したように見え、ボタ
ンを押下したという操作を、実感を伴って把握すること
ができることになる。

【００６２】また本発明の実施に形態においては、図２
を参照すると、画像生成ユニットは、画像以外で情報が
与えられる重畳位置指定情報（１３）に従って、重畳画
像を生成するために必要な重畳画像生成情報（１４）、
及び重畳領域指定情報（１５）を生成する重畳情報解析
部（２００）と、前記重畳画像生成情報に従い、重畳画
像を生成出力する重畳画像生成部（２０１）と、前記重
畳領域指定情報に基づきマスクパターンを生成するマス
クパターン生成部（１０２）とを含む。

【００６３】ベース画像生成部（１１５）は、第２のエ
フェクト部（１１４）から出力されたマスクパターン画
像と基準画像（２５）とを合成してベース画像を生成出
力する。

【００６４】本発明のさらに別の実施の形態として、図
３を参照すると、画像生成ユニットは、重畳情報が重畳
画像として与えられ、前記重畳画像の形状ならびに重畳
位置の解析を行い、重畳位置指定情報に従って、重畳領
域指定情報を生成出力する重畳画像解析部（３００）
と、重畳領域指定情報に基づきマスクパターンを生成す
るマスクパターン生成部（１０２）とを含む。

【００６５】そして本発明のさらに別の実施の形態とし
て、図４を参照すると、画像生成ユニットにおいて、重
畳情報が重畳画像として与えられ、重畳画像が基準画像
と同一のサイズもしくは画像フォーマットで与えられ、
重畳表示する位置が設定された状態とされ、重畳領域指
定情報に基づきマスクパターンを生成するマスクパター
ン生成部（１０２）を含む。

【００６６】本発明は、その好ましい実施の形態におい
て、図５を参照すると、画像重畳表示手段（１２４）は
ハーフミラーよりなり、ハーフミラー（１２４）の一面
に対向して第１のディスプレイ（１２２）が配設され、
ハーフミラー（１２４）の一面と反対側の面に対向して
第２のディスプレイ（１２３）が配設され、重畳情報表
示画面の画像の反射像としてベース画面に重畳表示用画
像を重ねて表示する。

【００６７】本発明は、その好ましい実施の形態におい
て、図５を参照すると、画像重畳表示手段（１２４）
は、第１、第２の透過型ディスプレイ（１２３、１２
４）を重ねて配設されたものからなり、前記ベース画面
に前記重畳表示用画像を重ねて表示し、表示位置調整機
構（１２１）が前記第１、第２の透過型ディスプレイ
（１２２、１２４）の間隔を調整する。

【００６８】本発明は、その好ましい実施の形態におい
て、前記ベース画像の表示を行うディスプレイが、タッ
チデバイス付きのディスプレイよりなる。

【００６９】

【実施例】上記した本発明の実施の形態についてさらに
詳細に説明すべく、本発明の実施例について図面を参照
して以下に詳細に説明する。

【００７０】以下に本願明細書で用いられる用語の定義
について説明する。

【００７１】・「重畳情報」：重畳表示を行いたい情報
をいう。

【００７２】・「被重畳情報」：重畳情報が重畳表示さ
れる対象となる情報をいう。

【００７３】・「原画像」：重畳情報と被重畳情報とを
共に含んだ画像を表わす。

【００７４】・「重畳画像」：重畳情報が画像として表
現されたものを表わす。

【００７５】・「被重畳画像」：被重畳情報が画像とし
て表現されたものを表わす。

【００７６】・「重畳表示用画像」：重畳表示を行うた
めに、実際にディスプレイへ送られる重畳画像を表わ
す。

【００７７】・「ベース画像」：実際にディスプレイに
送られる被重畳画像をいう。

【００７８】なお、重畳情報か被重畳情報かは、どちら
の情報に着目させるか、どちらが重要であるか、どちら
の情報の説明に力点を置くか、どちらの情報の量が多い
か、あるいは、表示サイズの大小、情報提示時の演出目
的や意図などによって適宜決められるものであり、ま
た、重畳情報と被重畳情報の位置関係も、本発明の実施
にあたり、表現上の目的や演出意図と関連づけて設計さ
れるものであり、必ずしも被重畳情報の手前もしくは上
側に表示する必要はない。

【００７９】・「画像」：写真やビットマップイメージ
などの静止画だけでなく、文字やグラフィック、さらに
は、アニメーションやビデオなどの動画像をも含む。ま
た、画像の表示の形態も、ＣＲＴ装置に投影されるよう
なラスタイメージのみならず、液晶ディスプレイやプラ
ズマディスプレイ、プロジェクタなどの画素がディスプ
レイ面全体にわたって配置されるような表示形態であっ
てもよい。

【００８０】・「画面」：ディスプレイ面およびディス
プレイ面に表示された画像をいう。

【００８１】画面サイズについては後述するが、以下で
は特別に明記しない限り、画面サイズは複数のディスプ
レイで同一サイズの場合について説明する。画面サイズ
が異なる場合には、見た目が同じサイズとなるように、
必要に応じて各画像に適切な倍率を乗じて拡大もしくは
縮小などの変形処理を施し表示すれば良い。

【００８２】なお、以下では、画像が、各機能ブロック
を順に転送され、それぞれの画像処理も各機能ブロック
上のビデオメモリ上で行われる方法を例に説明している
が、装置内の各機能ブロックがビデオメモリを共有し、
単一のビデオメモリ、もしくは、単一のビデオメモリの
領域を分割し異なる機能や画面として割り当てているビ
デオメモリに対して、各機能ブロックが時分割処理など
により順次あるいは並列にアクセスし、画像を処理する
構成であってもよい。また、同等の機能をアナログ信号
処理によって実現できる場合には、ビデオメモリを利用
するというデジタル処理を用いなくてもよい。

【００８３】図１は、本発明の第１の実施例の構成を示
す図であり、画面重畳表示型の情報入出力装置の構成が
示されている。

【００８４】図１を参照すると、本発明の第１の実施例
をなす画面重畳表示型の情報入出力装置は、画像生成ユ
ニット１００と、制御ユニット１１０と、端末ユニット
１２０と、を備えている。

【００８５】画像生成ユニット１００は、重畳画像抽出
部１０１と、マスクパターン生成部１０２とを備え、制
御ユニット１１０は、制御部１１１と、画像切替手段１
１２と、エフェクト部１１３、１１４と、ベース画像生
成部１１５と、スイッチ部１１６と、明るさコントラス
ト制御部１１７、１１８と、を備えて構成される。端末
ユニット１２０は、表示位置調整機構１２１と、ディス
プレイ１２２、１２３と、画像重畳表示手段１２４と、
入力用デバイス１２５と、を備えてから構成される。ス
イッチ部１１６は、例えばマトリクススイッチャによっ
て構成される。

【００８６】画像生成ユニット１００は、重畳画像とマ
スクパターンを生成する機能ブロックであり、重畳画像
抽出部１０１は、制御部１１１からの重畳領域指定情報
１０に従い、原画像２０から重畳表示する画像部分を抽
出し、重畳画像としてエフェクト部１１３へ送る。

【００８７】また、重畳領域指定情報１０に基づき、マ
スクパターン生成部１０２は、マスクパターンを生成
し、エフェクト部１１４へ送る。

【００８８】重畳領域指定情報１０は、強調のために重
畳表示を行う、原画像上の箇所あるいは領域を指定する
情報である。

【００８９】この重畳領域指定情報１０は、 ・原画像における画素の位置を示す座標値の集合、 ・原画像における特定の領域を示すベクトルの集合、 ・原画像上に対応づけられた特定の形状（例えば矩形や
円、多角形など）を表すプリミティブの具体的形状を指
定するパラメータ、 ・原画像と対応づけられたビットマップデータ、 ・原画像を取り込んだビデオメモリ上でのアドレスの集
合、 ・原画像におけるアルファプレーンや特定のクロマ成分
を領域として指定した画像情報、 の少なくともいずれかとして表される。

【００９０】重畳領域特定情報には、原画像から重畳画
像を生成するための制御情報を含めてもよい。

【００９１】原画像から重畳表示する画像部分を抽出す
る際には、原画像を分配し、一つは被重畳画像を生成す
るベース画像生成部１１５へ供給し、他を重畳画像抽出
部１０１へと供給する。

【００９２】重畳画像抽出部１０１は、作業用のビデオ
メモリもしくはフレームバッファ、フレームメモリを備
え、原画像は、ビデオメモリ上に展開される。重畳領域
指定情報１０の指示に従い、ビデオメモリの指定領域か
ら情報を抽出し、重畳画像として構成し、エフェクト部
１１３へと送る。

【００９３】マスクパターンは、重畳情報を被重畳情報
から際立たせるために、被重畳情報に対して重ね合わせ
るための画像データを指す。重畳情報を際立たせるに
は、一般的には、際立たせる箇所に対応する被重畳情報
の明度や輝度を低下させればよい。マスクパターンは、
重畳情報と同一のサイズでかつ同一の形状で、アルファ
値を減じるための情報として作成される。

【００９４】制御部１１１は、エフェクト部１１３から
の重畳表示用画像２１とベース画像生成部１１５からの
ベース画像２２は、マトリクッススイッチャ１１６、明
るさコントラスト制御部１１７、１１８を介して端末ユ
ニット１２０の各ディスプレイ１２２、１２３へ送る制
御を行う。

【００９５】重畳画像抽出部１０１から送られてきた重
畳画像を受け取ったエフェクト部１１３において、制御
部１１１からのエフェクト指定に基づき、指定の画像処
理を行い、マトリクススイッチャ１１６へ重畳表示用画
像２１を送る。マスクパターン生成部１０２から送られ
てきたマスクパターンはエフェクト部１１４において制
御部１１１からの指定に基づき指定の画像処理を施し、
ベース画像生成部１１５へ送られる。

【００９６】ベース画像生成部１１５では、エフェクト
部１１４から送られてきたマスクパターン画像と原画像
２０とを合成してベース画像２２を生成し、マトリクス
スイッチャ１１６へ送る。

【００９７】マトリクススイッチャ１１６では、制御部
１１１からの指定に基づき、重畳表示用画像２１とベー
ス画像２２とを切り替え制御して、明るさコントラスト
制御部１１７、１１８へそれぞれ送る。

【００９８】明るさコントラスト制御部１１７、１１８
では、制御部１１１からの指定に従い、マトリクススイ
ッチャ１１６から送られてきた画像の明るさやコントラ
ストの調整を行い、ディスプレイ１２２や１２３へ画像
を送る。

【００９９】エフェクト部１１３、１１４では、 ・画像に対する色調補正（明るさやコントラスト、ガン
マ補正、色相や彩度、色調、階調、ホワイトバランス、
カラーバランスなど）、 ・画像操作や演算（乗算、加算、減算、オーバーレイ、
比較、覆い焼き、焼き込み、反転など）、 ・トリミング、 ・各種加工やフィルタ効果（ぼかし、ノイズ付加、シャ
ープなど）、 ・変形や回転、 ・ワイプ切り替え、 などが行われ、その他に、必要に応じて、画像モードや
フォーマット、解像度、サイズなどの変換が施される。

【０１００】エフェクト部１１３、１１４では、これら
の機能をすべて具備している必要はなく、用途や目的と
する効果に応じて、適宜選択して具備される。

【０１０１】エフェクト部１１３、１１４において、定
型的な処理ですむ用途の場合には、あらかじめ決められ
た指示に従って、独自にエフェクト処理を施す場合があ
るが、より複雑な処理を行う場合や、アプリケーション
ソフトウェア全体として、特定のタスクを処理する場合
などは、制御部１１１からの指定に従って動作する。

【０１０２】ベース画像生成部１１５では、マスクパタ
ーンと原画像との合成を行う。合成の方法は、例えば、 ・原画像に対して、そのままマスクパターンを上書きす
る、あるいは、 ・原画像のアルファプレーンに対してマスクパターンを
上書きする、あるいは、 ・原画像とマスクパターンとで論理積演算を行う、 等の画像処理を行い、その処理結果を、ベース画像とし
て出力する方法が用いられる。

【０１０３】マトリクススイッチャ１１６は、重畳表示
用画像とベース画像を、端末ユニット内のどのディスプ
レイへ送るかを制御する。

【０１０４】このように、マトリクススイッチャ１１６
を配置するのは、ディスプレイ１２２とディスプレイ１
２３の位置が固定されており、かつ、画面が上側と下側
といった具合に、物理的に離れて表示されるような場合
に、それぞれの情報を上側もしくは下側の任意の位置に
画像を切り替えて表示できるようにするためである。

【０１０５】表示位置調節機構によって素早く画像の表
示位置が変えられない場合には、マトリクススイッチャ
１１６で画像の出力先を交換することで、瞬時に、画像
の上下入れ替えが可能となり、情報提示の表現の幅を広
げることができる。

【０１０６】マトリクススイッチャ１１６は、定型的な
処理で済む用途の場合には、あらかじめ決められた指示
に従ってマトリクススイッチャ１１６内で切り替え処理
を行うが、より複雑な処理を行う場合や、アプリケーシ
ョンソフトウェア全体として、特定のタスクを処理する
場合などは、制御部１１１からの指定に従って動作す
る。

【０１０７】なお、重畳表示用画像とベース画像とを合
成して一画面として出力し表示する必要がある場合に
は、マトリクススイッチャ１１６に、外部プロセッサと
して画像ミキサを接続し、バイパス処理したり、あるい
は、マトリクススイッチャ１１６に画像合成機能を付加
すればよい。この機能（画像合成機能）は、例えば画面
を録画したり、展示会などで、図１に示した本実施例に
係る装置とは別の従来のディスプレイに画面を大きく表
示するような用途において有効である。

【０１０８】明るさコントラスト制御部１１７、１１８
は、マトリクススイッチャ１１６から送られてきた画像
に対して、明るさ、あるいは、コントラストを静的にも
しくは動的に変更する機能をもつ。

【０１０９】明るさとコントラストは、それぞれ個別に
制御できるが、明るさとコントラストを連動させて調節
するようにしてもよい。このような連動させる調節は、
例えば、急激に画面の切り替えを行いたい場合や、ある
いは、片方の画像を強調して表示しつつ別の画像を背後
でうっすらと表示する場合に、ある程度の明るさを保ち
つつ情報の明瞭度を下げる際に有効である。

【０１１０】明るさコントラスト制御部１１７、１１８
の目的は、端末ユニット１２０におけるディスプレイの
表示特性の調整と、重畳表示用画像とベース画像との表
示バランスの調整ならびに表示切り替えとを行う。

【０１１１】ディスプレイの表示特性の調整とは、 ・ディスプレイ相互の機種や個体差による特性の違いを
調整して揃えたり、あるいは、 ・ハーフミラーによる反射の影響をキャンセルしたり、
あるいは、 ・ディスプレイの電源投下からの時間変化や経年変化、
周囲の明るさの違いによるディスプレイ方式の違い（自
発光型デバイスか、反射型かなどの違い）による特有の
特性を補正する、ことなどをいう。

【０１１２】重畳表示用画像とベース画像との表示バラ
ンスの調整は、原画像から重畳画像を抽出した後に、別
々の画像処理過程を経たことで生じた明るさやコントラ
ストの違いを補正するものである。

【０１１３】また、重畳画像と被重畳画像が別に与えら
れる場合などでは、画像ソースの違いに起因する明るさ
やコントラストの不釣り合いが生じやすいので、重畳表
示した際の違和感を軽減する補正を明るさコントラスト
制御部１１７、１１８で行う方法も有効となる。

【０１１４】重畳表示用画像とベース画像の切り替え
は、双方の画像の明るさ、もしくは、コントラストを調
整することで行う。重畳表示用画像を表示する場合に
は、重畳表示用画像を明るく、かつ、ベース画像は暗く
する。

【０１１５】逆に、ベース画像を表示する場合には、重
畳表示用画像を暗くして、ベース画像を明るく表示すれ
ばよい。

【０１１６】画像切り替え手段１１２で検出された利用
者の操作は、一旦、制御部１１１へ送られ、制御部１１
１から明るさコントラスト制御部１１７、１１８へ切り
替え指定が送られる。

【０１１７】切り替え指定は、画面Ａから画面Ｂへとい
った二値（ＯＮ／ＯＦＦなど）の指定でもよいし、用途
に応じては、双方の画面をどれだけの比率で表示させる
か、といった比率による指定でも良い。

【０１１８】切り替え指定は、明るさコントラスト制御
部１１７と明るさコントラスト制御部１１８へ送られ、
画像切り替えの場合には、この２つの明るさコントラス
ト制御部１１７、１１８が連動して動作することで、滑
らかな画面の切り替えを実現する。

【０１１９】また、切り替え指定に切り替えに要する時
間や時定数などを合わせて指定することで、切り替えの
時間的な早さを制御することができる。このように、切
り替え時間をコントロールすることで、画面の切り替わ
りを見る者に印象深くすることができるという効果を有
するだけでなく、画面の切り替わりが連続的に行われる
ため、２つの画面を切り替えて作業を行うにあたり、元
の画面を参照する際に、位置的な手がかりを記憶しやす
くなる。

【０１２０】このような位置的な手がかりの記憶は、切
り替え時に元の画面をうっすらと表示しておくことで、
より補強することができる。

【０１２１】明るさコントラスト制御部１１７、１１８
は、定型的な処理で済む用途に対しては、あらかじめ決
められた指示に従って、独自に処理を行う場合もある
が、より複雑な処理を行う場合や、アプリケーションソ
フトウェア全体として特定のタスクを処理する場合など
は、制御部１１１からの指定に従って動作する。さら
に、部屋の明るさ、使用状況に応じて表示デバイスの明
るさを変化させることもできる。

【０１２２】これによって、例えば、使用していない間
は画面を暗くしてデバイスの焼き付けを防ぐスクリーン
セーバーと同等の機能を働かせたり、明るい場所で使用
する場合にはディスプレイの明るさを全体的に高めて見
やすくするといった制御も行える。

【０１２３】また、画像重畳表示手段１２４として、ハ
ーフミラーを用いた場合には、利用者の視点の位置によ
っては、ハーフミラー上でのディスプレイからの光の反
射率が変わり、見る位置によって、重畳表示の画面が明
るくなったり暗くなったりする。この明るさの変動を補
正する機能も、画面を見やすくするために有効である。
その場合、利用者の視点の位置を検出し、重畳表示する
画面の明るさを利用者の視点の移動に追随させること
で、重畳表示している画面を一定の明るさに保つことが
できるようになる。

【０１２４】画像切り替え手段１１２は、利用者に対し
て重畳表示用画像とベース画像のどちらを提示するか、
あるいは、両方を提示するかを操作するためのものであ
り、例えば、 ・スイッチやそれに類するデバイスや入力手段、もしく
は、 ・ロータリーエンコーダや可変抵抗器、圧力センサ、加
速度センサなどといった、量や比率を指定可能なデバイ
スを用いた入力手段、によって構成される。

【０１２５】画面の切り替えを段階的に行う場合につい
て説明する。画面の段階的な切り替えは、重畳表示用画
像とベース画像との明るさの比率を段階的に変更するこ
とで行える。

【０１２６】画像切り替え手段１１２としてスイッチを
用いる場合には、スイッチを複数個配置して、それぞれ
のスイッチに数値を段階的に割り当てたり、あるいは、
ボタン押下回数に量や比率を割り当てることで、画面の
明るさを指定する。別の方法としては、ボタンを押して
いる時間やボタンを押してから離すまでの時間から量や
比率を指定したり、さらには、スイッチを押した瞬間か
ら一定時間をおいて数値が減衰あるいは増加するように
する、といった機能を備えることで、画面の段階的な切
り替えを実現することもできる。

【０１２７】また、画面切り替え手段１１２として、 ・画像認識技術を用いた利用者の位置測定やジェスチャ
認識、音声認識といった技術や、 ・圧力センサを床面に配置しこの上に人が乗っているこ
とを検出したり、赤外線センサや超音波センサ、音声セ
ンサを用いて人の接近や装置までの距離を測定する、と
いった各種センサや検出デバイス等、を用いて、人の動
作や音声による情報や指示を段階的な数値に変換し、そ
れを明るさコントラスト制御部１１７、１１８の制御に
適用することで、段階的な画面の切り替えを行うことも
可能である。

【０１２８】制御部１１１は、 ・重畳情報の管理や重畳領域の指定、 ・エフェクトの管理や指定、 ・重畳表示用画像とベース画像の切り替えの制御、 ・明るさコントラスト部の制御、 ・ディスプレイの表示位置の調節や制御、 ・入力用デバイスの管理などの各種制御・管理を行う。
また、 ・アプリケーションソフトウェアや外部機器と通信を行
い、特定タスクの遂行へ向けた装置全体の制御を行う。

【０１２９】端末ユニット１２０は、画像の表示と利用
者からの入力の検出を行う。明るさコントラスト制御部
１１７、１１８からそれぞれ送られてきた画像２３、２
４はディスプレイ１２２、１２３においてそれぞれ表示
される。

【０１３０】表示位置調節機構１２１は、制御部１１１
の指定に従い、ディスプレイ１２２又はディスプレイ１
２３の表示位置の調整を行う。

【０１３１】入力用デバイス１２５は、利用者の入力を
検出し、入力した情報を制御部１１１へ送り、制御部１
１１は、入力情報をアプリケーションソフトウエアへ送
るなど、所定の箇所へ入力情報を伝達する。

【０１３２】ディスプレイ１２２、１２３は、 ・ＣＲＴ（陰極線管）、 ・ＬＣＤ（液晶ディスプレイ）、 ・ＰＤＰ（プラズマディスプレイパネル）、 ・プロジェクタ、 ・ＬＥＤ（発光ダイオード）や、 ・ＥＬ（エレクトロルミネセンス） など、一般的に光を発する装置、もしくは、外光を反射
して情報を表示する装置を用いることができる。

【０１３３】

【０１３４】ディスプレイ画面に映し出された映像の重
畳表示を行う画像重畳表示手段１２４は、 ・ハーフミラーを介して一つの画面にもう一方の画面の
反射像を投影するもの、あるいは、 ・透明なディスプレイ面を持つ表示デバイスを垂直方向
にカスケードに積み上げて構成するもの、 が用いられる。

【０１３５】以下では、主にハーフミラーを用いた構成
について説明する。ハーフミラーを用いた構成では、例
えば、タッチディスプレイなどの従来型のデバイスにそ
のまま情報を重畳したり、実際の物理的な装置（ペンタ
ブレット）に情報を重畳表示できるといった利点があ
る。

【０１３６】一方、透明なディスプレイを重ねる構成で
は、装置のサイズがコンパクトに設計できる。透明なデ
ィスプレイデバイスとしては、例えば液晶パネルがあ
る。液晶パネル等のバックライトが必要な装置では、バ
ックライトと目的とする表示画像との間に別の画面が表
示されている場合には、間に挟まった画面がバックライ
トに対してマスクのように働き、明瞭な画像が得られな
くなることもある。これを回避するには、透明なディス
プレイデバイスとして、ＥＬやＬＥＤのような自発光型
で、かつ、複数枚を重ねて使用できるデバイスを用いれ
ばよく、画像の重ね合わせがより効果的に行える。

【０１３７】表示位置調節機構１２１は、ディスプレイ
の位置、あるいは、ディスプレイによって表示された画
像を観察する位置を調整し保持する機能を提供する。デ
ィスプレイの位置を調節でき、かつ、所望の位置で固定
できる手段であれば任意のものが用いられる。例えば、
レール上をディスプレイがスライドするようにしてお
き、そのレール上でディスプレイを支持している部位を
自在に固定する機構などからなる。

【０１３８】表示位置調節機構１２１は、装置使用前に
ディスプレイの位置を調節する用途だけでなく、使用中
に動的にディスプレイの位置を変えられる機能を備える
ことで、使用中に画面の位置を変えることができるよう
になり、重畳表示の表現の幅をさらに広げることができ
る。

【０１３９】ディスプレイ１２２、１２３や画像重畳表
示手段１２４が固定配置される用途では、動的に調整が
行えるような表示位置調節機構１２１は必ずしも備える
必要はない。

【０１４０】また、ハーフミラーを用いる方式では、画
面同士の位置関係が自在に変更できるので、画面の仮想
的な上下関係を自在に変えたり、同じ平面内に表示した
りといったことが可能となる。

【０１４１】表示位置調整機構１２１を、双方のディス
プレイ１２２、１２３に取り付けることで、相対的な画
面の移動速度を高めることができ、画像の位置の変更を
素早く行うことができるようになる。

【０１４２】ハーフミラーを用いる方式では、ハーフミ
ラーの位置や角度の調整も、表示位置調節機構１２１で
行う。そして、ディスプレイの位置の制御と、ハーフミ
ラーの調節を連動させることで、装置内でのディスプレ
イの位置を可変させ、用途や目的に応じて、表示の状態
はそのままで装置の筐体を変形させたり、あるいは、画
像の位置関係を動的に可変することができるようにな
る。

【０１４３】例えば、ベース画像を壁面と平行に配置す
る場合には、重畳表示用画像はベース画像と直行する関
係に配置する方が、画面が見やすくなるし、ベース画像
を床面と平行に配置する、例えば、机上に水平に画面を
配置する場合には、ベース画面と重畳表示用画像は平行
に配置した方が良い場合が多い。この場合、前者ではハ
ーフミラーはベース画像と重畳表示用画像の間に４５度
の角度で挿入され、後者では、ベース画像と平行に挿入
されることになる。

【０１４４】これらは、装置の設置条件と利用者の観察
位置、観察姿勢などとの関連から最適な位置関係が導き
出されるので、ディスプレイの位置関係やハーフミラー
の位置、角度は自由に変更し設定できることが好まし
い。

【０１４５】さらに、ハーフミラーを用いる方式では、
利用者の位置によって反射率が変わったり、画面の角度
が変わって見えることがあるが、利用者の視点を検出
し、画面の角度を利用者の視点に動的に追随させること
で、画面の傾きが補正でき、重畳画像が常にベース画像
に対して一定の位置関係を保って表示されて見えるよう
にできる。

【０１４６】入力用デバイス１２５として、情報処理装
置の入力装置として一般的に用いられている操作デバイ
スを用いることができる。例えば、キーボードやそれに
類するデバイス、マウスやそれに類するポインティング
デバイス、タッチパネル、ペンタブレットやそれに類す
るデバイス、音声認識装置、画像認識装置などである。

【０１４７】本実施例において、ディスプレイの一つに
タッチディスプレイを用いると、従来のタッチディスプ
レイでは実現できなかった、ボタンの凹凸の表現や、ボ
タン押下時にボタンがへこんだようなアニメーションな
どを表示することができ、操作感覚の向上に有効であ
る。このほか、ディスプレイの一つにペンタブレットに
図面などを張り付けたものを配置し、もう一つの画面を
重畳表示するような用途も有効である。

【０１４８】また、本実施例では、画面が重畳表示され
ているため、操作対象となる画面を自由に指定できる仕
組み、すなわち、操作のフォーカスを指定したい画面へ
自在に移動できる手段を備えておくことが望ましい。

【０１４９】画面を指定する方法としては、 ・画面切替手段でアクティブとなっている画面へ操作の
フォーカスやカーソルが自動的に移動する方法や、 ・キーやそれに類するスイッチを用意して、各スイッチ
に指定する画面を割り当てておき、スイッチを押すとフ
ォーカスやカーソルがその画面へ移動する方法や、 ・音声により画面を指定する方法や、 ・利用者の視点や注目点などを検出して利用者が操作し
たい画面を推測しフォーカスとなる画面を選択する方
法、 などを用いることができる。

【０１５０】さらに、画面の指定とともに、画面上に表
示されたカーソルを選択した画面平面内へ移動する方法
の他に、利用者からみて対象となるオブジェクトがポイ
ンティングデバイスと重なった際に、そのオブジェクト
へフォーカスやカーソルを移動する方法もある。前者
は、画面を切り替えて、主として表示されている画面が
特定される場合に有効であり、後者は、複数の画面が等
しく同時に表示されている場合に有効な方法である。

【０１５１】ポインティングデバイスと視点とを結ぶ直
線上に複数のオブジェクトや情報が存在する場合には、
スイッチやキー、もしくは音声などを利用した補助的な
指定手段を用意しておき、オブジェクトを特定できるよ
うにしておく。

【０１５２】次に、本発明の第２の実施例について説明
する。図２は、本発明の第２の実施例の構成を示す図で
ある。図２を参照すると、本発明の第２の実施例の画面
重畳表示型の情報入出力装置において、画像生成ユニッ
ト１００Ａは、重畳情報解析部２００と、重畳画像生成
部２０１と、マスクパターン生成部１０２とを備えて構
成されている。画像生成ユニット１００Ａには重畳情報
２６と基準画像２５とが入力されており、ベース画像生
成部１１５には、エフェクト部１１４の出力と基準画像
２５が入力されている。これ以外の制御ユニット１１
０、端末ユニット１２０の構成は、図１に示した前記実
施例と同一であるため、図２では図示されていない。

【０１５３】この実施例では、重畳情報２５が画像以外
の形式で与えられる。制御部１１１からの重畳位置指定
情報１３に従って、重畳情報解析部２００では、重畳画
像生成情報１４を生成して重畳画像生成部２０１へ送
り、また、重畳領域指定情報１５を生成してマスクパタ
ーン生成部１０２へ送る。

【０１５４】重畳画像生成部２０１は、重畳画像生成情
報１４に従い、重畳画像を生成し、エフェクタ部１１３
へ送る。

【０１５５】制御部１１から送出される重畳位置指定情
報１３は、基準画像に対する重畳画像の表示位置を示
す。例えば、基準画像における座標値などで表され、重
畳情報の代表点をその座標値に合わせて重畳表示を行
う。

【０１５６】重畳画像の代表点には、重畳情報を画像と
して表した際の、中心点や基準点、重畳情報を囲む矩形
の頂点の一つなどを選ぶ。また、重畳位置指定には、重
畳情報から情報画像を生成するための制御情報を含めて
も良い。

【０１５７】重畳画像生成情報は、重畳画像生成部２０
１が重畳画像を生成するために必要な情報であり、重畳
情報の種別や属性などの解析結果から作られた重畳画像
生成部における画像生成手順などもこれに含まれる。

【０１５８】例えば、重畳情報が文字として与えられた
場合には、画面上での文字の位置や、キャラクタコー
ド、フォントやサイズ、重畳画像生成部２０１にフォン
トデータが無い場合にはフォントデータなども重畳画像
生成情報は含む。

【０１５９】重畳情報がグラフィックデータの場合に
は、ベクトルデータや、ポリゴンデータ、ピクセルデー
タ、ビデオメモリ上に展開すべきラスタイメージ用のデ
ータなどが重畳画像生成情報にあたる。

【０１６０】図３は、本発明の第３の実施例の構成を示
す図である。図３を参照すると、本発明の第３の実施例
の画面重畳表示型情報入出力装置における画像生成ユニ
ット１００Ｂは、重畳画像解析部３００と、マスクパタ
ーン生成部１０２と、を備えて構成されている。画像生
成ユニット１００Ｂには、重畳画像２７と基準画像２５
とが入力されており、ベース画像生成部１１５には、エ
フェクト部１１４の出力と基準画像２５が入力されてい
る。これ以外の制御ユニット１１０、端末ユニット１２
０の構成は、図１に示した前記実施例と同一であるた
め、図３では図示されていない。

【０１６１】この実施例では、重畳情報が画像の形式で
与えられる。制御部１１１からの重畳位置指定情報１６
に従って、重畳画像解析部３００では、重畳領域指定情
報１７を生成してマスクパターン生成部１０２へ送る。

【０１６２】重畳画像２７が基準画像２５と同一のサイ
ズもしくは画像フォーマットで与えられ、かつ、重畳表
示する位置が設定された状態で与えられた場合には、重
畳画像解析部３００では、重畳領域指定情報を生成す
る。

【０１６３】重畳画像が既に、重畳情報以外の部分につ
いて黒色等でマスク処理されている場合には、重畳画像
解析部３００は、重畳画像をそのままエフェクト部１１
３へ送る。

【０１６４】一方、重畳画像２７が、必要なマスク処理
がまだ施されていない場合には、重畳画像解析部３００
がマスク処理を施す。

【０１６５】重畳画像解析部３００は、重畳画像の形状
ならびに重畳位置の解析を行い、重畳領域指定情報１７
を生成してマスクパターン生成部１０２へ送る。

【０１６６】重畳画像２７が基準画像２５と異なり、か
つ、重畳表示する位置を設定する場合には、制御部１１
１から重畳位置指定情報１６が送られ、重畳画像解析部
３００では、重畳位置指定情報に従い、マスク処理やト
リミング処理、画像サイズの変更や移動などの処理を施
し、処理後の画像をエフェクト部１１３へ送る。

【０１６７】また、重畳画像解析部３００は、重畳画像
の形状ならびに重畳位置の解析を行い、かつ、重畳位置
指定情報１６を参照しながら、重畳領域指定情報１７を
生成しマスクパターン生成部１０２へ送る。

【０１６８】図４は、本発明の第４の実施例の構成を示
す図である。図４を参照すると、本発明の第４の実施例
の画面重畳表示型情報入出力装置における画像生成ユニ
ット１００Ｃは、マスクパターン生成部１０２のみから
構成されている。画像生成ユニット１００Ｃには、重畳
画像２７と基準画像２５とが入力され、重畳画像２７は
エフェクト部１１３に入力され、ベース画像生成部１１
５には、エフェクト部１１４の出力と基準画像２５が入
力されている。これ以外の制御ユニット１１０、端末ユ
ニット１２０の構成は、図１に示した前記実施例と同一
であるため、図４では図示されていない。

【０１６９】この実施例では、 ・重畳情報が画像の形式で与えられ、かつ、 ・重畳画像２７が基準画像２５と同一のサイズもしくは
画像フォーマットで与えられ、かつ、 ・重畳表示する位置が設定された状態 で与えられる。

【０１７０】さらに、この場合は、重畳情報以外の部分
を黒色等でマスク処理されていることが望ましく、マス
ク処理が施されていない場合には、エフェクト部１１３
にて重畳表示に必要な画像処理が施される。

【０１７１】また、制御部１１１は重畳画像の特性をあ
らかじめ保持しており、重畳領域指定情報１８を生成し
てマスクパターン生成部１０２へ送る。

【０１７２】この実施例は、重畳画像２７が一定の形状
や基準画像上の一定の領域に重畳表示する場合に、構成
が単純に実施できるため、製造コストを下げるなどの点
で有効である。

【０１７３】次に、具体例に即して、本発明の一実施例
の動作について説明する。

【０１７４】画像のサイズは、一般に画面の縦と横の画
素数で表すことができるが、原画像がアナログ信号で与
えられ、あるいは、各処理ブロック間の映像の転送がア
ナログ信号で行われる場合には、同一の映像信号規格を
意味すると考えて良い。

【０１７５】画面のサイズは、端末ユニット１２０で表
示される２つの画面の物理的なサイズを指す。画面のサ
イズは、一般にはディスプレイ面の対角線のサイズで表
されることが多いが、本発明のように重畳表示を扱う場
合には、各ディスプレイで表示される情報は、特殊な演
出効果を狙う場合を除き、同じ情報は合同もしくは相似
で表示されなければならないことから、実際に情報が表
示される領域で比較し表される必要がある。

【０１７６】すなわち、画面のサイズは、縦と横が指定
の画素で満たされた矩形の領域の実寸で表されるものと
する。一般に、この矩形の領域は、ディスプレイにおけ
る最大表示可能領域で表され、代表的なものとして、Ｖ
ＧＡ（video graphics array）やＳＶＧＡ（super v
ideo graphics array）、ＸＧＡ（extended graphic
s array）といった規格がある。

【０１７７】同じ形状の情報を双方のディスプレイに表
示した際に、その表示が合同もしくは相似形とならない
場合で、ディスプレイ側でサイズの調整が行えない場合
には、表示する画像に対して、適切な比率を乗じて、表
示時に合同もしくは相似になるように調整する。

【０１７８】ＣＲＴは、一般に画面への表示は個体差が
大きいので、本発明でディスプレイにＣＲＴを用いる場
合には、画面の調節が必須となる。調整を容易にするた
めに、同一特性のディスプレイを使用することが望まし
い。また、画面の調整のために、テストパターンを画面
に表示すると調整が行いやすくなるので、本発明におい
ても、パターンジェネレータを内蔵し、必要に応じて表
示できるようにする。パターンとしては、一定間隔で並
んだ升目など、プロジェクタやＣＲＴの調整を行うため
のテストパターンが用いられる。ただし、２画面を同時
に表示しながら調整するため、双方の区別がつきやすい
ように、それぞれの画面に別のパターンを送る、双方を
組み合わせて一つの模様が形成されるようなパターンを
選ぶといった機能をもつ。

【０１７９】パターンジェネレータは、エフェクト部１
１３、１１４やマトリクススイッチャ１１６や明るさコ
ントラスト制御部１１７、１１８やディスプレイ１２
２，１２３などに内蔵すれば良い。

【０１８０】通常の画面表示とテストパターン表示との
切り替えは、制御部１１１からの指示で行うことができ
る。

【０１８１】このテストパターンは、画面サイズの調整
だけでなく、ディスプレイ位置の微調整を行う際にも利
用できる。ただし、位置微調整の用途に用いる場合に
は、まず、ディスプレイの特定の位置において画面サイ
ズの調整を行っておく。ディスプレイ筐体やディスプレ
イ面の四隅などにマーカーを付けておき、そのマーカー
を目安にディスプレイの物理的な位置の調整や光軸の調
整を行う方法もある。なお、そのマーカーは自発光のも
のが調整しやすい。ディスプレイ面の光軸を調整する場
合には、利用者の視点からディスプレイ面に向かってレ
ーザー光などの直進光を投射し、双方のディスプレイ面
において同じ位置にスポットが当たるようにそれぞれの
ディスプレイの位置を調整するといった方法もある。

【０１８２】ディスプレイとして、液晶ディスプレイや
プラズマディスプレイを用いる場合には、同一のディス
プレイを用いて同一の画面解像度とすることで、物理的
にほぼ同一の画面サイズが得られるので、ＣＲＴよりも
画面調整が行いやすくなり設計や運用上、有利である。

【０１８３】画像重畳表示手段１２４に、ハーフミラー
を用いる場合には、ハーフミラーで反射させて見る画面
を反転させる必要がある。画面の反転は、ディスプレイ
において、反転させる方法や、エフェクト部１１３にお
いて画面を反転させる方法がある。

【０１８４】ディスプレイにおいて反転させる方法とし
ては、ディスプレイとして、ＣＲＴなどを用いた場合に
は、画面の走査方向を左右反転させることで画面を反転
できる。エフェクト部において反転させる方法の例とし
ては、画像を一度、フレームメモリに記憶させ、そのフ
レームメモリから画像を出力する際に、メモリから値を
読み出す順番を、画面が反転するようにすることで反転
画像が得られる。このフレームメモリを利用する画面反
転方法はディスプレイ内で行っても良い。

【０１８５】画像重畳表示手段１２４と表示位置調節機
構１２１について詳しく説明する。図５は、画像重畳表
示手段１２４としてハーフミラーを用いた場合の、端末
ユニット１２０の構成を示す図である。

【０１８６】図５において、ベース画像がディスプレイ
（ａ）１２３に、重畳表示用画像がディスプレイ（ｂ）
１２２に表示される。ディスプレイ（ｂ）１２２に表示
された画像はハーフミラー１２４で反射され、利用者へ
と到達する。従って、利用者から見ると、ディスプレイ
（ｂ）１２２の反射像が、ディスプレイ（ａ）１２３の
上方に浮かんで表示される。

【０１８７】ディスプレイ（ａ）１２３と反射像との距
離は、表示位置調節機構１２１によって調節される。

【０１８８】ハーフミラーとしては、透明なガラスに適
切な膜厚の金属膜を蒸着などの手段によって形成したも
のを用いる。この他、スモークガラスやＮＤフィルタな
どの透過光を減衰させる光学素子でも、ハーフミラーの
代用が可能である。高分子フィルムに金属の薄膜を形成
したものでも、ハーフミラーとして機能する。それら光
学素子は、平面であることが望ましいが、反射像を意図
的に拡大し表示するために、凹面や、あるいは縮小し表
示するために、凸面として表示することも可能である。
一般に、十分な強度が得られる範囲内で、ハーフミラー
のガラス基盤などは可能な限り薄い方が、反射像が二重
に見えにくく、鮮明な反射像が得られる。

【０１８９】図６は、画像重畳表示手段１２４として透
過型ディスプレイを重ねて用いた場合の端末ユニット１
２０の構成を示す図である。図６において、ベース画像
がディスプレイ（ａ）１２３に、重畳表示用画像がディ
スプレイ（ｂ）１２２に表示される。ディスプレイ
（ｂ）１２２に表示された画像は直接利用者へと到達す
る。ディスプレイ（ａ）１２３に表示された画像は、デ
ィスプレイ（ｂ）１２２を透過して利用者へと到達す
る。従って、利用者から見ると、ディスプレイ（ｂ）１
２２の画像がディスプレイ（ａ）１２３の上方に浮かん
で表示される。ディスプレイ（ａ）１２３とディスプレ
イ（ｂ）１２２との画像間の距離は、表示位置調節機構
１２１によって調節される。

【０１９０】透過型ディスプレイが自発光デバイスでな
い場合には、光源としてバックライトなどがディスプレ
イ（ａ）１２３の後方に配置される。

【０１９１】原画像から重畳表示用画像とベース画像を
生成する場合には、原画像と重畳表示用画像、ベース画
像は同一のサイズとなるように生成すると、すべての画
像において共通の座標系を採用することができ、それぞ
れの画像間の対応付けが単純かつ容易になるので、装置
全体としての処理が簡潔に行えるようになる。

【０１９２】端末ユニット１２０で表示される２つの画
面の物理的なサイズが異なる場合には、重畳表示用画像
とマスクパターンはその画面のサイズ比を反映して生成
される。

【０１９３】次に、重畳領域指定情報１０について詳細
に説明する。制御部１１１から画像生成ユニット１００
に供給される重畳領域指定情報１０は、重畳表示用画像
が、原画像上もしくは基準画像上のどの位置に重畳表示
されるかを示す情報である。原画像から重畳表示用画像
を抽出する場合には、この抽出領域を指定する情報とな
る。また、重畳領域指定情報は、原画像もしくは基準画
像上に合成されるマスクパターンを生成する際にも参照
される。

【０１９４】図２乃至図４に示したように、重畳情報と
基準画像が与えられ、重畳情報と基準画像のサイズが異
なる、あるいは、重畳情報の一部分を抽出して基準画像
上へ重畳表示する場合には、重畳情報への抽出位置や抽
出方法の指示と、基準画像に対する重畳表示位置の指示
とが含まれる。

【０１９５】重畳領域指定情報は、例えば、重畳表示し
たい領域が矩形であれば、原画像中における矩形を特定
する点の集合として、その点の座標を記述する。一般的
には、矩形の指定はその対角線を成す２点を指定するだ
けで十分である。

【０１９６】領域が矩形以外の多角形であれば、各頂点
の座標を指定すればよい。円などの少ないパラメータで
表記可能な図形については、各図形の特性に従ったパラ
メータによって図形をつまり重畳表示する領域を指定す
る。また、原画像のアルファチャネルの特定の閾値で２
値化して領域を指定したり、あるいは、クロマキー手法
のように、画像中において特定のクロマ成分をもつ箇所
によって指定する方法などもある。

【０１９７】原画像をビデオメモリにキャプチャした際
のメモリアドレスを指定したり、原画像と同一サイズの
画像を用意し、ビットマップデータとして、指定したい
領域に特定の値をもったピクセルを描画して指定するこ
ともできる。

【０１９８】重畳表示する領域が、特定の形状をしてお
り、かつ、そのサイズが固定もしくは、有限のパラメー
タで表される場合には、その特定形状の代表点の座標
と、倍率などを表すパラメータによって表される。さら
に、領域の指定があらかじめ割り当てられた番号や記号
の指定もしくは参照によって行える場合もある。

【０１９９】例えば、Ｗｉｎｄｏｗｓ（登録商標）の画
面において、特定のウインドウを重畳表示させる場合に
は、重畳表示するウインドウを指定する情報によって記
述することもできる。この場合、実際に原画像もしくは
基準画像のどの領域が重畳表示されるかは、各ウインド
ウを管理する内部プログラムに、関数などを介して、重
畳表示の対象となるウインドウを指定する情報を渡して
問い合わせ、実際の座標値などを得る方法が挙げられ
る。

【０２００】その他、画像中の特定の領域を指定できる
ものあれば、任意の情報が重畳領域指定情報として用い
られる。

【０２０１】重畳領域の指定に関する情報は、制御部１
１１から発行される場合と、重畳情報と一緒に外部から
送られてくる場合とがある。

【０２０２】重畳領域指定情報が制御部１１１から発行
される場合には、装置自体が、情報を重畳表示させる領
域を管理する場合と、装置外部から制御部１１１へ重畳
表示に関する指示が伝えられる場合がある。前者は、例
えば、重畳表示する位置が常に決まっている場合で、か
つ、重畳表示する領域やその形状が固定である場合など
である。後者の例は、アプリケーションソフトウェアウ
エアなどで、画面を重畳表示させるためのウインドウを
指定する場合などである。この場合では、重畳情報の如
何によらず、画面上の一定の領域に表示することが多
く、アプリケーションソフトから制御部１１１へ重畳表
示を行う場所を指定する情報を送り、装置特有の特性や
座標系などを加味した重畳領域の指定情報へと変換され
る。

【０２０３】重畳領域の指定に関する情報が、重畳情報
とともに外部から送られてくる場合には、 ・重畳情報そのものに位置に関する情報が含まれる場合
と、 ・重畳情報とは別に送られてくる場合とがある。

【０２０４】重畳情報そのものに位置に関する情報が含
まれる場合には、基準画像と同一の画像サイズで、重畳
表示する位置決めを終えた状態で重畳情報そのものを画
像として送る方法がある。その他、重畳情報とその配置
手順を一緒に送り、重畳画像を生成するといった方法が
ある。例えば、重畳表示したい情報のデータとその情報
を画面上で配置する際の座標値を一緒に送る方法などが
挙げられる。

【０２０５】ベース画像に対して重畳表示用画像を重畳
表示する方法について詳しく説明する。

【０２０６】まず、原画像から重畳表示用画像を抽出す
る場合について説明する。

【０２０７】原画像中の特定の領域を強調するために、
その箇所を抜き出し、重畳表示させて、あたかも、その
箇所だけがベース画像から浮き上がっている（あるいは
沈み込んでいる）ように見せることができる。

【０２０８】そのためには、まず、原画像中のどの箇所
を抽出するかを指定する必要がある。この領域を指定す
るのが重畳領域指定情報である。

【０２０９】重畳画像抽出部１０１における重畳画像の
生成について説明する。

【０２１０】例えば、原画像が６４０×４８０ピクセル
で構成され、重畳情報がその中の特定の位置を基点とす
る５０×５０ピクセルであるものとすると、原画像か
ら、５０×５０ピクセルを抽出し、原画像と同一の６４
０×４８０であり、かつ、すべてが例えば黒の画素（画
素値＝０）で埋められた画像に、重畳情報である５０×
５０ピクセルの画素を、原画像と同じ基点に従い上書き
することで、重畳画像が得られる。

【０２１１】マスクパターンの生成、及びマスクパター
ンと被重畳画像との合成について詳しく説明する。

【０２１２】最も単純なマスクの構成は、例えば各画素
のアルファプレーンが８ビットで表されるとすると、マ
スクをかける部分（領域）が、アルファ値０で、それ以
外の領域が２５５の値を持つような画像からなる。

【０２１３】この画像を、被重畳画像に対して、論理積
演算を施すことで、被重畳画像に対して、重畳画像に対
応する箇所にマスク効果を施すことができる。論理積だ
けでなく、マスクパターンに対応する被重畳画像の各画
素に対して、係数ｋ（０≦ｋ≦１）を乗じることで、被
重畳画像の該当個所の明度を減じることもできる。

【０２１４】マスクパターンのアルファ値が０で、論理
積によるマスクを施した場合には、その演算は簡易であ
り、高速に処理が完了するが、マスク箇所の被重畳画像
の情報がすべて黒になり情報が見えなくなってしまう。

【０２１５】そこで、マスクパターンを市松模様のよう
に、部分的にマスクするようなハッチングパターンで埋
めておき、被重畳画像にマスクをかけることで、単純な
論理計算で、被重畳画像の情報をすべてマスクによって
失うことなく、見かけの明度を下げることができる。

【０２１６】また、図５に示したように、ハーフミラー
１２４を用いた構成では、ディスプレイ１２３に対して
利用者が手で直接操作する場合には、利用者とディスプ
レイ１２３との間に手が入るが、その際にディスプレイ
１２２の反射像が手で隠されないため、手が反射像より
も奥に位置している状況でも、手の上に重畳画像が表示
されている場合が生じる。その場合には、利用者からみ
た自分の手の形状をパターンとして生成し、エフェクト
部１１３において、重畳画像にマスクをかけることで違
和感を軽減することができる。

【０２１７】重畳画像抽出部１０１における画像の抽出
パターンや重畳画像の領域を動的に変化させ、かつ、そ
れと連動してマスクパターンを変化させて、原画像ある
いは基準画像にマスクをかけることで、重畳表示用画像
とベース画像との間でのワイプ切り替えが可能となる。

【０２１８】この変化をワイプパターンとして制御部１
１１などに登録しておき、その登録番号を指定したり、
変化の速度や切り替わりの始点、パターンの位置などを
指定できるようにしておくことで、効果的な画面切り替
えが行えるようになる。

【０２１９】端末ユニット１２０で表示される２つのデ
ィスプレイ１２２、１２３の画面サイズが異なる場合に
は、重畳表示用画像とマスクパターンはその画面比を反
映して生成し、それぞれが表示された場合に、見かけの
大きさが同じになるようにする。

【０２２０】重畳画像を被重畳画像に合成し表示してい
る様子を以下に説明する。

【０２２１】図７に示す例において、利用者が観察する
二つの画面が適切な間隔、例えば、画面が１５から１７
インチ程度ならば０．５ｃｍ〜３センチメートル程度の
間隔をおいて配置されている場合を想定している。この
間隔については、画面サイズや用途に依存するが、間隔
が狭すぎると浮遊している感覚が得にくく、間隔があき
すぎると、二つの画面の間の関連性が低くなる。重畳情
報をボタンのように扱い、操作時に同じ情報を重畳表示
用画像とベース画像との間で表示を切り替え、情報が浮
遊している、あるいは情報が浮かぶ又は凹んで見えると
いった表示効果を出すためには、この画面の間隔を、画
面の対角線の１％から１０％の間に設計すると効果的で
ある。

【０２２２】図７は、本発明の一の実施例における画像
の一例を示す図であり、図７（ａ）は原画像の例であ
る。この画像は、「項目１」から「項目４」までの矩形
の図形を含んでおり、タッチパネル画面に表示されるボ
タンを表わしている。

【０２２３】制御部１１１は、この４つの矩形の形状や
画面上での位置、領域に関する情報を保持しており、重
畳領域指定情報１０として重畳画像抽出部１０１へ、原
画像からどの領域の情報を重畳情報として抽出すべきか
を指定する。

【０２２４】図７（ｂ）は、この重畳領域指定情報１０
に従い、原画像から重畳情報を抽出し重畳画像として生
成した画像を示したものである。ここで、重畳情報以外
の領域は黒色（例えばＲＧＢの値がすべて０もしくはそ
の近傍の値）としておけば、後の画像処理が行いやすく
なる。また、ハーフミラーを用いた画像重畳表示手段１
２４の場合には、このように、重畳情報以外の領域を黒
にしておけば（なお、図７では「黒」を「ドット表示」
で示す）、ディスプレイにこの重畳画像を表示するだけ
で、簡単に、ベース画像に対して重畳情報のみを重畳表
示することができる。

【０２２５】図７（ｃ）は、マスクパターンの一例であ
る。マスクパターンの設定としては、この例に示すよう
に、マスク部分を黒に、マスクではない領域を黒以外の
画素にしてもよいし、逆に、マスク部分を黒以外の色
に、マスクではない部分を黒に設定してもよい。

【０２２６】マスクパターンは、原画像上の重畳情報と
同じ位置になっている。これは、原画像に重畳情報を重
ねる際に、重畳情報が原画像と二重になるため、原画像
側の表示をその箇所だけ消すためである。このように処
理すると、重畳情報が原画像から抜き出されて浮かび上
がっているような表示が得られる。

【０２２７】浮かび上がっている効果を強調する際に
は、マスクパターンの境界をガウス関数などの画像処理
フィルタでぼかすことで、あたかも重畳情報の影が原画
像上に投影されているような表現、いわゆる、「ドロッ
プシャドウ効果」が得られる。効果的なぼかし方は、仮
想的な光源の種類や位置、個数、周囲照明などの要因
と、原画像と重畳情報との位置関係から設定される。

【０２２８】図７（ｄ）は、図７（ｃ）のマスクパター
ンを、図７（ａ）の原画像と合成し、マスク処理を施し
た結果得られたベース画像を表す。原画像のなかの重畳
情報の部分だけが黒く塗りつぶされているような画像と
なる。

【０２２９】図７（ｂ）の画像を重畳表示用画像とし
て、図７（ｄ）をベース画像として重畳表示した場合の
様子を、図９（ｂ）に示す。これは、原画像である図９
（ａ）の重畳情報の部分だけが浮かび上がったような表
示となる。

【０２３０】図８に、図７で示した本発明の一実施例に
おける画像の例を示す図であり、項目を一つ選択した後
の様子を例示したものである。この場合、選択された項
目は、浮遊している状態から原画像へと復帰したように
見せ、あたかも情報の領域が押されて凹んだような物理
的因果律を演出することができる。その効果を出す際に
は、重畳情報は、図８（ａ）に示すように、選択された
「項目４」を除く部分となる。同時に、マスクパターン
も、図８（ａ）が示す領域と同じとなり、その結果、ベ
ース画像は、「項目４」の部分を含む図８（ｂ）に示す
画像となる。

【０２３１】そして重畳表示用画像とベース画像を重ね
て観察すると、図９（ｃ）に示す画像となる。図９
（ｂ）において、「項目４」を選択すると、図９（ｃ）
の画像が得られるようにすることで、あたかも項目４が
押下されて凹んだような印象を与える効果が得られ、図
９（ａ）に示す従来の画面上で項目を選択する場合に比
べて、直感的に理解しやすいユーザインタフェースが提
供される。

【０２３２】なお、図９（ｄ）は、重畳表示用画面の位
置を、ベース画面よりも奥に配置した場合の画像を示し
ている。

【０２３３】このように、上記した本実施例の装置で
は、ベース画面の上下の任意の位置に画面を配置でき、
仮想的な凹凸の表現が実現される。

【０２３４】また、以上の説明では、重畳表示用画像が
利用者からみて上側、ベース画像が下側に表示されるも
のとして説明したが、重畳表示用画像を下側とするよう
な設計も可能である。

【０２３５】また、重畳表示用画像とベース画像の上下
関係が逆転しても、マスクパターンを適切に設定するこ
とで、同じ表示効果が得られる。例えば、図７（ｂ）が
ベース画像で、図７（ｄ）が重畳表示画像であってもよ
い。その場合、図７（ｃ）のマスクパターンを反転させ
て、原画像にマスク処理が適応される。

【０２３６】なお上記各実施例は、本発明を説明するた
めのものであり、本発明を限定するためのものでなく、
本発明は、本発明の原理に準ずる範囲での各種変形を含
むことは勿論である。

【０２３７】

【発明の効果】以上説明したように、本発明によれば、
下記記載の効果を奏する。

【０２３８】本発明の第１の効果は、従来の単一の画面
で表示していた情報を、さらにわかりやすく、かつ、着
目すべき情報に対して、利用者の注目を自然に誘導する
ことができる、ということである。

【０２３９】本発明の第２の効果は、一つの画面に多く
の情報を表示した場合でも、利用者は、どこに着目すべ
きなのか、どこにフォーカスが当たっているのかが明確
にわかり、また情報やウインドウが重なっている場合で
も、下側に位置する情報がある程度見えることから、情
報の探索を容易化し、重なっている場合でも相互の情報
を参照し易く、一覧性に優れた表示環境を提供すること
ができる、ということである。

【０２４０】本発明の第３の効果は、ウインドウ表示に
おいて、ウインドウを縮小する等することなく、元のま
まのサイズで同時に複数のウインドウを表示でき、また
下側に位置する情報を参照するために、該下側のウイン
ドウを参照毎にアクティブにすることを不要とし、作業
性、操作性を向上する、ということである。

【０２４１】本発明の第４の効果は、複数のウインドウ
を相互参照する場合に、作業中の利用者の視線移動距離
が、従来の一画面の場合と同等であるため、複数画面を
扱う場合などに比べて、作業者の負担を軽減する、とい
うことである。

【０２４２】本発明の第４の効果は、タッチパネルディ
スプレイを用いたアプリケーションソフトウェアをはじ
めとした、コンピュータや通信端末などの一般的なＧＵ
Ｉを、特別な改良なしに、より操作感のある作業環境が
得られる、ということである。本発明によれば、例えば
画面上のボタンイメージを押したことに対して、実感の
ある操作フィードバックが提供される。

【０２４３】さらに、本発明の第５の効果は、画面の明
るさやコントラスト、重畳表示部分に対するマスキング
制御を動的に行う機能によって、重畳表示画面と被重畳
表示画面とを効果的に重畳表示し、見やすく且つ分かり
易い表示環境を提供することができる、ということであ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例の装置構成を示す図であ
る。

【図２】本発明の第２の実施例における画像生成ユニッ
ト及びその周辺の構成を示す図である。

【図３】本発明の第３の実施例における画像生成ユニッ
ト及びその周辺の構成を示す図である。

【図４】本発明の第３の実施例における画像生成ユニッ
ト及びその周辺の構成を示す図である。

【図５】本発明の一実施例における画像重畳表示手段と
してハーフミラーを用いた場合の、端末ユニットの構成
を示す図である。

【図６】本発明の一実施例における画像重畳表示手段と
して透過型ディスプレイを重ねて用いた場合の端末ユニ
ットの構成を示す図である。

【図７】本発明の一つの実施例の動作を説明するための
画像の例を模式的に示す図である。

【図８】本発明の一つの実施例の動作を説明するための
画像の例を示す図であり、項目を一つ選択した後の様子
を模式的に示す図である。

【図９】本発明の一実施例における重畳表示の様子を模
式的に示す図である。

【符号の説明】

１００、１００Ａ、１００Ｂ、１００Ｃ 画像生成ユニ
ット １０１ 重畳画像抽出部 １０２ マスクパターン生成部 １１０ 制御ユニット １１１ 制御部 １１２ 画像切替手段 １１３、１１４ エフェクト部 １１５ ベース画像生成部 １１６ スイッチ部（マトリクススイッチャ） １１７、１１８ 明るさコントラスト制御部 １２０ 端末ユニット １２１ 表示位置調整機構 １２２、１２３ ディスプレイ １２４ 画像重畳表示手段 １２５ 入力用デバイス ２００ 重畳情報解析部 ２０１ 重畳画像生成部 ３００ 重畳画像解析部 １３、１６ 重畳位置指定情報 １４ 重畳画像生成情報 １５、１７ 重畳領域指定情報 ２０ 原画像 ２１、２３ 重畳表示用画像 ２２、２４ ベース画像 ２５ 基準画像 ２６ 重畳情報 ２７ 重畳画像

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−39690（ＪＰ，Ａ) 特開 平４−77087（ＪＰ，Ａ) 特開 昭62−122494（ＪＰ，Ａ) 特開 昭63−100898（ＪＰ，Ａ) 特開 昭63−261978（ＪＰ，Ａ) 特開 平２−76395（ＪＰ，Ａ) 特開 平３−179995（ＪＰ，Ａ) 特開 平３−226095（ＪＰ，Ａ) 特開 平４−240693（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G09G 5/00 - 5/40 H04N 13/00

Claims (19)

(57)【特許請求の範囲】
1. 【請求項１】所与の画像から重畳表示する画像部分を抽
   出し重畳画像として出力するとともに、前記重畳画像に
   対するマスクパターンを生成出力する画像生成手段と、 前記画像生成手段から出力された前記重畳画像を受け取
   り、エフェクト指定情報に基づき、指定された画像処理
   を施してなる重畳表示用画像を出力する第１のエフェク
   ト手段と、 前記画像生成手段から出力された前記マスクパターンを
   受け取り、エフェクト指定情報に基づき、指定された画
   像処理を施してなるマスクパターン画像を出力する第２
   のエフェクト手段と、 前記第２のエフェクト手段から出力されたマスクパター
   ン画像と前記所与の画像とを合成してベース画像を生成
   出力するベース画像生成手段と、 第１、及び第２のディスプレイに表示される前記重畳表
   示用画像及び前記ベース画像を重畳させて表示する画像
   重畳表示手段と、 を少なくとも含む、ことを特徴とする画面重畳表示型情
   報入出力装置。
2. 【請求項２】前記画像生成手段が、画像上の重畳領域を
   指定する重畳領域指定情報に従い、前記画像から重畳表
   示する画像部分を抽出し重畳画像として出力する重畳画
   像抽出手段と、 前記重畳領域指定情報に基づきマスクパターンを生成す
   るマスクパターン生成手段と、を含むことを特徴とする
   請求項１記載の画面重畳表示型情報入出力装置。
3. 【請求項３】前記画像生成手段が、画像以外の情報で与
   えられる重畳位置指定情報に従って、重畳画像を生成す
   るために必要な重畳画像生成情報、及び重畳領域指定情
   報を生成する重畳情報解析手段と、 前記重畳画像生成情報に従い、重畳画像を生成出力する
   重畳画像生成手段と、 前記重畳領域指定情報に基づきマスクパターンを生成す
   るマスクパターン生成手段とを含む、ことを特徴とする
   請求項１記載の画面重畳表示型情報入出力装置。
4. 【請求項４】重畳表示用画像、及び被重畳表示画像をそ
   れぞれ生成出力する画像生成手段と、 前記重畳表示用画像の表示画面と前記被重畳表示用画像
   の表示画面とを互いに離間させて配置し、前記重畳表示
   用画像の表示情報を、前記被重畳表示画像の表示面から
   浮かび上がった位置、又は、前記被重畳表示画像の表示
   面から沈んだ位置に見えるように、互いに重畳させて表
   示させる手段と、 を備え、 前記画像生成手段が、 重畳表示を行いたい情報である重畳情報が重畳画像とし
   て与えられ、前記重畳画像の形状ならびに重畳位置の解
   析を行い、与えられた重畳位置指定情報に従って、重畳
   領域指定情報を生成出力する重畳画像解析手段と、 前記重畳領域指定情報に基づきマスクパターンを生成す
   るマスクパターン生成手段と、 を含むことを特徴とする画面重畳表示型情報入出力装
   置。
5. 【請求項５】重畳表示用画像、及び被重畳表示画像をそ
   れぞれ生成出力する画像生成手段と、 前記重畳表示用画像の表示画面と前記被重畳表示用画像
   の表示画面とを互いに離間させて配置し、前記重畳表示
   用画像の表示情報を、前記被重畳表示画像の表示面から
   浮かび上がった位置、又は、前記被重畳表示画像の表示
   面から沈んだ位置に見えるように、互いに重畳させて表
   示させる手段と、 を備え、 前記画像生成手段が、 重畳表示を行いたい情報である重畳情報を、基準画像と
   同一サイズの重畳画像もしくは同一画像フォーマットの
   重畳画像として受け取り、 予め設定された重畳領域指定情報に基づきマスクパター
   ンを生成するマスクパターン生成手段を含むことを特徴
   とする画面重畳表示型情報入出力装置。
6. 【請求項６】前記重畳表示用画像と前記ベース画像につ
   いて前記各ディスプレイの特性に応じて、明るさ及び／
   又はコントラストの調整をそれぞれ行い、前記各ディス
   プレイへ前記画像をそれぞれ送出する明るさコントラス
   ト制御手段を備えたことを特徴とする請求項１乃至３の
   いずれか一に記載の画面重畳表示型情報入出力装置。
7. 【請求項７】前記第１のエフェクト手段から出力された
   前記重畳表示用画像と前記ベース画像生成手段から出力
   された前記ベース画像とを送出するディスプレイを切替
   え制御するスイッチ手段を備えたことを特徴とする請求
   項１、２、３、６のいずれか一に記載の画面重畳表示型
   情報入出力装置。
8. 【請求項８】前記第１のエフェクト手段から出力された
   前記重畳表示用画像と前記ベース画像生成手段から出力
   された前記ベース画像とについて、双方の画像の明る
   さ、もしくはコントラストを調整することで、前記重畳
   表示用画像と前記ベース画像との切替えを行う画像切替
   え手段を備えたことを特徴とする請求項１、２、３、
   ６、７のいずれか一に記載の画面重畳表示型情報入出力
   装置。
9. 【請求項９】画像上の重畳領域を指定する重畳領域指定
   情報に従い、前記画像から重畳表示する画像部分を抽出
   し重畳画像として出力する重畳画像抽出部と、 前記重畳領域指定情報に基づきマスクパターンを生成す
   るマスクパターン生成部と、を含む画像生成ユニット
   と、 前記重畳画像抽出部から出力された重畳画像を受け取
   り、エフェクト指定情報に基づき、指定された画像処理
   を施してなる重畳表示用画像を出力する第１のエフェク
   ト部と、 前記マスクパターン生成部から出力されたマスクパター
   ンを受け取り、エフェクト指定情報に基づき、指定され
   た画像処理を施してなるマスクパターン画像を出力する
   第２のエフェクト部と、 前記第２のエフェクト部から出力されたマスクパターン
   画像と前記画像とを合成してベース画像を生成出力する
   ベース画像生成部と、 前記第１のエフェクト部から出力された前記重畳表示用
   画像と前記ベース画像生成部から出力された前記ベース
   画像とを端末ユニットのどのディスプレイに送出するか
   を制御するスイッチ部と、 前記スイッチ部から送られてきた前記重畳表示用画像と
   前記ベース画像について、前記端末ユニットのディスプ
   レイの特性に応じて、明るさやコントラストの調整を行
   い、前記端末ユニットのディスプレイへ前記画像を送る
   明るさコントラスト制御部と、 前記第１のエフェクト部から出力された前記重畳表示用
   画像と前記ベース画像生成部から出力された前記ベース
   画像とについて、双方の画像の明るさ、もしくはコント
   ラストを調整することで、前記重畳表示用画像と前記ベ
   ース画像との切替え制御する画像切替手段と、 前記画像生成ユニットに対して前記重畳領域指定情報を
   送出し、前記各エフェクト部に対して前記エフェクト指
   定情報を送出するとともに、前記スイッチ部の切替指定
   を行う制御部と、を含む制御ユニットと、 を備え、 前記端末ユニットが、第１及び第２のディスプレイと、 前記第１及び／又は第２のディスプレイの位置、あるい
   は、これらのディスプレイによって表示された画像を観
   察する位置を調整し保持する表示位置調整機構と、 前記第１のディスプレイと第２のディスプレイに表示さ
   れる前記重畳表示用画像及び前記ベース画像を重畳させ
   て表示する画像重畳表示手段と、 入力用デバイスと、を含むことを特徴とする画面重畳表
   示型情報入出力装置。
10. 【請求項１０】画像以外の情報で与えられる重畳位置指
    定情報に従って、重畳画像を生成するために必要な重畳
    画像生成情報、及び重畳領域指定情報を生成する重畳情
    報解析部と、 前記重畳画像生成情報に従い、重畳画像を生成出力する
    重畳画像生成部と、 前記重畳領域指定情報に基づきマスクパターンを生成す
    るマスクパターン生成部と、を含む画像生成ユニット
    と、 前記重畳画像生成部から出力された重畳画像を受け取
    り、エフェクト指定情報に基づき、指定された画像処理
    を施してなる重畳表示用画像を出力する第１のエフェク
    ト部と、 前記マスクパターン生成部から出力されたマスクパター
    ンを受け取り、エフェクト指定情報に基づき、指定され
    た画像処理を施してなるマスクパターン画像を出力する
    第２のエフェクト部と、 前記第２のエフェクト部から出力されたマスクパターン
    画像と与えられた基準画像とを合成してベース画像を生
    成出力するベース画像生成部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とを端末ユニットのどのディスプレイに送出するか
    を制御するスイッチ部と、 前記スイッチ部から送られてきた前記重畳表示用画像と
    前記ベース画像について、前記端末ユニットのディスプ
    レイの特性に応じて、明るさやコントラストの調整を行
    い、前記端末ユニットのディスプレイへ前記画像を送る
    明るさコントラスト制御部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とについて、双方の画像の明るさ、もしくはコント
    ラストを調整することで、前記重畳表示用画像と前記ベ
    ース画像との切替え制御する画像切替手段と、 前記画像生成ユニットに対して前記重畳位置指定情報を
    送出し、前記各エフェクト部に対して前記エフェクト指
    定情報を送出するとともに、前記スイッチ部の切替指定
    を行う制御部と、を含む制御ユニットと、 を備え、 前記端末ユニットが、第１及び第２のディスプレイと、 前記第１及び／又は第２のディスプレイの位置、あるい
    は、これらのディスプレイによって表示された画像を観
    察する位置を調整し保持する表示位置調整機構と、 前記第１のディスプレイと前記第２のディスプレイに表
    示される前記重畳表示用画像と前記ベース画像を重畳さ
    せて表示する画像重畳表示手段と、 入力用デバイスと、を含む、ことを特徴とする画面重畳
    表示型情報入出力装置。
11. 【請求項１１】前記制御部から送出される前記重畳位置
    指定情報が、前記基準画像に対する重畳画像の表示位置
    を示す情報よりなる、ことを特徴とする請求項１０記載
    の画面重畳表示型情報入出力装置。
12. 【請求項１２】重畳情報が重畳画像として与えられ、前
    記重畳画像の形状ならびに重畳位置の解析を行い、与え
    られた重畳位置指定情報に従って、重畳領域指定情報を
    生成出力する重畳画像解析部と、 前記重畳領域指定情報に基づきマスクパターンを生成す
    るマスクパターン生成部と、を含む画像生成ユニット
    と、 前記重畳画像解析部から出力された重畳画像を受け取
    り、エフェクト指定情報に基づき、指定された画像処理
    を施してなる重畳表示用画像を出力する第１のエフェク
    ト部と、 前記マスクパターン生成部から出力されたマスクパター
    ンを受け取り、エフェクト指定情報に基づき、指定され
    た画像処理を施してなるマスクパターン画像を出力する
    第２のエフェクト部と、 前記第２のエフェクト部から出力されたマスクパターン
    画像と与えられた基準画像とを合成してベース画像を生
    成出力するベース画像生成部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とを端末ユニットのどのディスプレイに送出するか
    を制御するスイッチ部と、 前記スイッチ部から送られてきた前記重畳表示用画像と
    前記ベース画像について、前記端末ユニットのディスプ
    レイの特性に応じて、明るさやコントラストの調整を行
    い、前記端末ユニットのディスプレイへ前記画像を送る
    明るさコントラスト制御部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とについて、双方の画像の明るさ、もしくはコント
    ラストを調整することで、前記重畳表示用画像と前記ベ
    ース画像との切替え制御する画像切替手段と、 前記画像生成ユニットに対して重畳位置指定情報を送出
    し、前記各エフェクト部に対して前記エフェクト指定情
    報を送出するとともに、前記スイッチ部の切替指定を行
    う制御部と、を含む制御ユニットと、 を備え、 前記端末ユニットが、第１及び第２のディスプレイと、 前記第１及び／又は第２のディスプレイの位置、あるい
    は、これらのディスプレイによって表示された画像を観
    察する位置を調整し保持する表示位置調整機構と、 前記第１のディスプレイと前記第２のディスプレイに表
    示される前記重畳表示用画像と前記ベース画像を重畳さ
    せて表示する画像重畳表示手段と、 入力用デバイスと、を含む、ことを特徴とする画面重畳
    表示型情報入出力装置。
13. 【請求項１３】重畳情報が重畳画像として与えられ、前
    記重畳画像が与えられた基準画像と同一のサイズもしく
    は画像フォーマットで与えられ、重畳表示する位置が予
    め設定されており、 重畳領域指定情報に基づきマスクパターンを生成するマ
    スクパターン生成部を含む画像生成ユニットと、 前記重畳画像を受け取り、エフェクト指定情報に基づ
    き、指定された画像処理を施してなる重畳表示用画像を
    出力する第１のエフェクト部と、 前記マスクパターン生成部から出力されたマスクパター
    ンを受け取り、エフェクト指定情報に基づき、指定され
    た画像処理を施してなるマスクパターン画像を出力する
    第２のエフェクト部と、 前記第２のエフェクト部から出力されたマスクパターン
    画像と前記基準画像とを合成してベース画像を生成出力
    するベース画像生成部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とを端末ユニットのどのディスプレイに送出するか
    を制御するスイッチ部と、 前記スイッチ部から送られてきた前記重畳表示用画像と
    前記ベース画像について、前記端末ユニットのディスプ
    レイの特性に応じて、明るさやコントラストの調整を行
    い、前記端末ユニットのディスプレイへ前記画像を送る
    明るさコントラスト制御部と、 前記第１のエフェクト部から出力された前記重畳表示用
    画像と前記ベース画像生成部から出力された前記ベース
    画像とについて、双方の画像の明るさ、もしくはコント
    ラストを調整することで、前記重畳表示用画像と前記ベ
    ース画像との切替え制御する画像切替手段と、 重畳画像の特性をあらかじめ保持しており、重畳領域指
    定情報を生成して前記マスクパターン生成部に送出する
    とともに、前記各エフェクト部に対して前記エフェクト
    指定情報を出力し、前記スイッチ部の切替指定を行う制
    御部と、を含む制御ユニットと、 を備え、 前記端末ユニットが、第１及び第２のディスプレイと、 前記第１及び／又は第２のディスプレイの位置、あるい
    は、これらのディスプレイによって表示された画像を観
    察する位置を調整し保持する表示位置調整機構と、 前記第１のディスプレイと前記第２のディスプレイに表
    示される前記重畳表示用画像と前記ベース画像を重畳さ
    せて表示する画像重畳表示手段と、 入力用デバイスと、を含む、ことを特徴とする画面重畳
    表示型情報入出力装置。
14. 【請求項１４】前記画像重畳表示手段が、ハーフミラー
    よりなり、重畳情報表示画面の画像の反射像としてベー
    ス画面に重畳表示用画像を重ねて表示する、ことを特徴
    とする請求項１乃至３、請求項６乃至１３のいずれか一
    に記載の画面重畳表示型情報入出力装置。
15. 【請求項１５】前記ハーフミラーの一面に対向して前記
    第１のディスプレイが配設され、前記ハーフミラーの一
    面と反対側の面に対向して前記第２のディスプレイが配
    設されている、ことを特徴とする請求項１４記載の画面
    重畳表示型情報入出力装置。
16. 【請求項１６】前記画像重畳表示手段が、第１、第２の
    透過型ディスプレイを重ねて配設されたものからなり、
    前記ベース画面に前記重畳表示用画像を重ねて表示する
    ことを特徴とする請求項１乃至３、請求項６乃至１３の
    いずれか一に記載の画面重畳表示型情報入出力装置。
17. 【請求項１７】前記画像重畳表示手段が、前記第１及び
    第２のディスプレイに表示された、前記重畳表示用画面
    と前記ベース画画とについて、前記重畳表示用画面の位
    置を、前記ベース画面よりも浮かび上がった位置、又は
    沈んだ位置に表示させる、ことを特徴とする請求項１乃
    至３、請求項６乃至１３のいずれか一に記載の画面重畳
    表示型情報入出力装置。
18. 【請求項１８】前記ベース画像の表示を行うディスプレ
    イが、タッチデバイス付きのディスプレイよりなる、こ
    とを特徴とする請求項１乃至３、請求項６乃至１３のい
    ずれか一に記載に記載の画面重畳表示型情報入出力装
    置。
19. 【請求項１９】前記第１、第２のディスプレイが、発光
    型の表示装置又は光反射型表示装置よりなる、ことを特
    徴とする請求項１乃至３、請求項６乃至１３のいずれか
    一に記載の画面重畳表示型情報入出力装置。