JP2015146475A - 画像表示装置 - Google Patents

Abstract

【課題】プロジェクタ装置を用いたプレゼンテーションの効率を高める。
【解決手段】投射画像を撮像可能なカメラを搭載し、投射領域内の手書き情報（画像）とプロジェクタ装置内画像メモリ内画像を合成し、メモ希望領域の確定および合成画像からの切り出し、メモ画像とする画像表示装置である事を特徴とする。前記画像表示装置は、撮像された手書き情報の正確な位置を検出するためのマーカー生成手段およびマーカー検出手段を持つ事を特徴とする。
【選択図】 図１

Description

本発明は、画像信号を入力し、入力された画像を表示する画像表示装置に関する。特に、表示画像の撮像が可能な撮像機能を有する画像表示装置であり、さらに、撮像した画像を表示画像に付加して表示することを特徴とする画像表示装置に関する。

プレゼンテーションの現場では、プレゼンテーション発表者がＰＣ上でプレゼンテーション資料作成アプリケーションを用いてプレゼンテーション資料を作成することが一般的である。さらには、同アプリケーションの全画面表示機能を用いて、ＰＣの出力するプレゼンテーション画像を複数名で視聴することが多い。また、複数名にプレゼンテーション画像を表示するための画像表示装置として、ＰＣの出力する電気信号であるＲＧＢ出力信号を入力可能なプロジェクタ装置が使用されることが多い。また、プレゼンテーション最中の説明用情報、変更になった情報、決定事項、強調を示すマークなどを手書きで追記することがある。そのような手書きで追記可能な筆記表示版として、チョークで筆記を行う黒板やホワイトボードマーカー等で筆記を行うホワイトボード（白板）を使用することが多い。このような黒板もしくはホワイトボードを画像表示装置であるプロジェクタ装置のスクリーンの代替品として使用することがある。つまり、黒板やホワイトボードのような筆記表示版にプロジェクタ装置でプレゼンテーション画像の投射を行い、投射されている筆記表示板に、プレゼンテーションに必要な説明情報、変更情報、決定事項、強調マーク等を手書き情報として加筆される。

投射表示面に表示された表示情報に対し、指示点として追加記入された内容を電子化し、表示情報とともに表示できる投射表示装置として、特許文献１が知られている。特許文献１では、描画手段が表示情報に基づいて生成した描画情報を描画面に表示し、その描画情報を投射表示面に投射表示する。さらに、指示点指定手段により、投射表示面に指示点を指定する。そして、投射表示面上の投射情報を撮像手段により撮像面上に撮像し、撮像情報に基づいて指示点に対応する撮像面上での位置を計測する。計測された指示点の位置情報から、表示情報に対応する指示対応点の位置を算出し、算出された指示対応点情報を指示対応点情報記憶手段で記憶する。描画手段で、指示対応点情報と表示情報とを重ねた描画情報を生成して描画面に表示する。

特許文献１では、指示対応点の位置情報の基準点を確定させるための参照基準点として、投射表示面上に、一直線上にない３つの参照基準点を可視表示、もしくは撮像、検出可能であれば不可視表示されている。可視表示の例として、○、□、△等の前もって定められたマークや、指示棒、レーザーポインタが挙げられているが、一般的に固定位置を指定することが困難な指示棒、レーザーポインタで指定される点を参照基準点にすることは、位置精度が低下すると考えられる。つまり、特許文献１では、○、□、△等の前もって定められたマークを使用する必然性が出てくると考えられる。特許文献１におけるマーク検出部は、予め設定ないしは指定された識別マークのドットパターンを格納したメモリ、およびドット比較器で構成され、撮像画像を順次走査しドット比較を行う。所定範囲内のドットパターンとメモリに格納されている識別マークが一致した時、識別マークの位置情報を出力する。

さらには、特許文献１に記されている追加記入情報の検出方法として、特定識別マークをペン先に備えたペン形状のものが記載されており、前記ペン形状のもので投射表示面に接触させて追加記入を行うものとしている。前記ペン形状のものに記されている特定識別マークも、参照基準点と同様に撮像画像を順次走査しドット比較を行うとしている。特許文献１における特別識別マークは、投射表示面に接触している時だけ、ケースを有するペン形状のもののケースから外部に露出する形態も提案されている。

特開２００５−２７５３２６号公報

しかしながら特許文献１に記載されている予め設定された識別マークを使用する手法では、識別マークと形状の類似したマーク、文字等が表示画像に存在する場合、誤動作の原因となることが多い。また、識別マークを指定することも可能であることが記載されているが、表示画像を変更する度にプレゼンタが識別マークの変更を行うことや、資料作成者に特定の形状に近いマーク、文字の使用を制限させることは、一般的には非現実で不可能である。

さらには、ペン先に特別識別マークを有するペン形状のもので追加記入情報を記入し、撮像画像走査することにより特別識別マークを検出する手法では、特別識別マークを連続して検出し続ける事は困難である。つまり、撮像手段による撮像画像から常にペン形状のもののペン先の特別識別マークが撮像可能な状態で、投射表示面にペン形状のもので追加記入しなければならず、単体の撮像手段では不可能であり一般的でない。複数の撮像手段があれば、いずれかの撮像手段が撮像することは可能ではあるが、複数の撮像手段を用いた手法は、特許文献１には記載されていない。

そこで、本発明では、常時撮像を行うことなく、追加情報が確定した後に撮像する技術を提供する。さらには、確実な基準点の検出方法を提案することにより、追加情報が記述されている位置を正確に検出し、追加情報を正確な位置に記憶表示する技術を提供する。さらに、追加情報と共に高品位なプレゼンテーション資料画像を記憶表示することを可能とするような技術を提供することを目的としている。

上記の目的を達成するために、本発明の構成は、画像信号の入力を行う画像入力手段、画像入力手段から入力される画像信号を受け画像表示を行う画像表示手段を有する画像表示装置であって、前記画像表示手段の表示画像とともに表示画像に重ねられた情報を含む表示領域を撮像可能な撮像手段、前記撮像手段により撮像された撮像画像の画素データの解析を行う撮像画像解析手段、前記撮像画像解析手段出力に応じてマーカーの生成を行うマーカー生成手段、前記画像表示手段の表示画像の四隅を断定可能とすることを目的としたマーカー画像を表示画像に重畳可能なマーカー付加手段を具備し、
前記画像入力手段から入力される入力画像に、前記マーカーが付加されていない状態の表示画像を画像表示手段に表示し、前記画像表示手段の表示領域を撮像手段で撮像し得られる撮像画像を、前記撮像画像解析手段において解析することにより前記撮像画像の特徴を抽出し、マーカー生成手段にて、前記特徴検出結果に応じてマーカーを生成し前記マーカーを前記マーカー付加手段にて前記入力画像に付加することを特徴とする。

本発明によれば、常に撮像を行うことなく、追加情報が確定した後に撮像することが可能となり、確実な基準点を検出することができ、追加情報が記述されている位置を正確に検出し、追加情報を正確な位置に記憶表示することが可能となった。さらに、追加情報と共に高品位なプレゼンテーション資料画像を記憶表示することが可能となった。

液晶プロジェクタ装置のブロック図 液晶プロジェクタ装置の動作説明図 撮像画像補正処理回路３０の詳細ブロック図 マーカー付加、撮像画像の説明図 撮像画像補正処理３０の説明図 液晶プロジェクタ装置の効果説明図 動作説明フローチャート図 撮像画像解析回路４１の詳細ブロック図 撮像画像解析回路４１の動作説明図１ 撮像画像解析回路４１の動作説明図２ 制御部２６動作説明図１ 制御部２６動作説明図２ マーカー制せ回路４２の処理説明図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例］
図１は本発明の液晶プロジェクタ装置を用いた実施例である。

図１において、１はデジタルＲＧＢ入力端子、２はアナログＲＧＢ入力端子、３はビデオ入力端子である。４はデジタルＲＧＢ入力信号を受け取るレシーバ、５，６はアナログ信号をデジタル信号に変換するアナログデジタル変換回路（ＡＤ変換回路）である。７はＡＤ変換されたデジタルビデオ信号を入力し、輝度を表すデジタル信号及び色を表す２種類のデジタル信号を出力するビデオデコーダであり、ビデオデコーダ出力は、マトリクス回路８に入力され、デジタルＲＧＢ信号に変換される。レシーバ４出力、ＡＤ変換回路５出力、マトリクス回路８出力、制御部２６出力ＲＧＢ信号は、９で示される入力セレクタ回路に入力される。

３５はネットワーク端子、３６は外部ネットワークとの通信を行うネットワークコントローラ、３７はＵＳＢコネクタ、３８は外部ＵＳＢ機器とのＵＳＢ通信制御を行うＵＳＢコントローラ、３９は半導体メモリ入出力端子、４０は半導体メモリコントローラである。ネットワーク端子３５から入力される外部ネットワーク上の画像データは、ネットワークコントローラ３６を通じて、制御部２６に転送される。ＵＳＢコネクタ３７から入力される外部ＵＳＢ機器上の画像データは、ＵＳＢコントローラ３８を通じて、制御部２６に転送される。半導体メモリ入出力端子３９から入力される半導体メモリ上の画像データは、半導体メモリコントローラ４０を通じて、制御部２６に転送される。制御部２６に転送された外部ネットワーク上や外部ＵＳＢ機器や半導体メモリの画像データは、入力セレクタ９回路へと送られる。

入力セレクタ回路９により選択されたデジタルＲＧＢ信号は、解像度変換回路１１に入力され、フレームメモリ１０を介して、２０で示される液晶パネルの解像度／フレーム表示周波数に変換される。１２は画像処理回路であり、制御部２６の出力する制御信号に応じて解像度変換回路１１の出力するＲＧＢ信号に対するゲイン変換／オフセット変換等の色補正処理／台形補正処理／ＯＳＤ付加が行われる。前記ＯＳＤ付加には、トリミング位置を示す枠画像、テストパターン出力、マーカー生成回路４２で生成される投射画像の四隅を示すマーカー表示等も含まれる。３３は撮像画像付加回路であり、デジタルカメラ２９の出力する撮像画像が加工され記憶されている付加画像メモリ３４の出力する付加画像を画像処理回路１２出力ＲＧＢ信号に付加する。１３は逆Ｖ−Ｔ補正回路であり、撮像画像付加回路３３出力ＲＧＢ信号を入力し、液晶パネル２０の入力電圧−光透過特性（V−T特性）を逆補正するようにＲＧＢ信号を出力する。１４はムラ補正回路であり、画像内全領域においてＲＧＢデータが均一である画像が入力された時、投射画像が面内で均一に投射され、パネル面内のムラを抑制するように座標毎のパネル駆動電圧の制御を行う。１５はパネル出力処理回路であり、ムラ補正回路１４出力信号を液晶パネル駆動が可能な信号に変換する。

２３はリモコン受光部、２４はＰＣ通信端子である。液晶プロジェクタ装置外部のリモコンからの液晶プロジェクタ制御用赤外線光等をリモコン受光部２３で受信し、制御部２６により液晶プロジェクタ装置を制御する。また、ＰＣからの液晶プロジェクタ装置の制御もしくは逆に液晶プロジェクタ装置からＰＣの制御を行う制御信号をＰＣ通信端子２４で送受信し、ＰＣから液晶プロジェクタ装置が制御された場合には、制御部２６によりその制御動作が行なわれる。２５は液晶プロジェクタ装置本体に搭載されている制御ボタンであり、制御ボタン２５による制御信号は制御部２６を経由して、液晶プロジェクタ装置を制御する。２７は同期信号入力端子であり、アナログＲＧＢ入力端子２からアナログＲＧＢ信号の水平／垂直同期信号が入力される。２８は同期処理回路であり、ビデオ入力端子３から入力されるビデオ信号からの同期分離処理、デジタルＲＧＢ入力端子１から入力されるデジタルＲＧＢ信号の同期信号処理を行う。

さらには、同期信号入力端子２７から入力されるアナログＲＧＢ信号の同期信号処理等を行い、同期信号処理回路２８は制御部２６へ出力する。２９は、デジタルカメラであり、筆記表示板２２に投射されている領域の画像の撮像を行う。デジタルカメラ２９は、オートフォーカス、ホワイトバランス、オートアイリス等のカメラ信号処理部を含み、デジタルＲＧＢ信号を出力する。撮像画像補正処理回路４１は、デジタルカメラ２９の出力するデジタルＲＧＢ信号を解析し、撮像画像解析情報を制御部２６に出力する。撮像画像補正処理回路３０は、デジタルカメラ２９の出力するデジタルＲＧＢ信号を入力し、撮像画像補正処理回路出力信号を出力する。撮像画像補正処理回路３０では、ノイズ除去、マーカー検出、形状加工、投射画像置換、先鋭化処理、トリミング加工を行う。３１は、撮像画像メモリであり、形状加工・トリミング加工等を施された撮像画像補正処理回路３０出力を記憶する。撮像画像解像度変換回路３２では、制御回路２６指示する付加画像解像度に解像度変換され、付加画像メモリ３４に記憶される。

１６は電源であり、１７は電源１６より供給される電力からランプ１８に供給する安定した高電圧を発生させるランプ駆動回路（バラスト）である。１９はインテグレータ光学系であり、ランプ１８の出力する光の均一性を高める。インテグレータ光学系１９を通過した均一性を高めた光はパネル出力処理回路１５に制御される液晶パネル２０を通過し、投射レンズ２１を介して、筆記表示板２２に投射される。図１では記述されていないが、インテグレータ光学系１９を通過した光は、ＲＧＢに分光され、ＲＧＢ光源として使用される。前記ＲＧＢ光源からの光が各々１枚の液晶パネル２０を通過し、３枚の液晶パネルを通過したＲＧＢ光が集光されることにより、カラー画像となり、投射レンズ２１を介して投射される。

図２は実施例の動作説明図である。

図２（Ａ）は、液晶プロジェクタ装置２０１を投射方向正面から見た図である。図２（Ａ）における２０２は、投射レンズを表しており、２０３は、デジタルカメラの撮像レンズである。図２（Ｂ）は液晶プロジェクタ装置２０１に接続されているＵＳＢメモリ２０４内に記録されているプレゼンテーション情報が筆記表示板２０５に投射されている様子を表している。図２（Ｃ）は、プレゼンテーション情報画像が画像として投射されている例であり、図２（Ｄ）は、筆記表示板２０５で、プレゼンテーション画像に、矢印と赤色の「×」印が手書きされている。また、図２（Ｄ）における破線は、画像処理回路１２で付加されたトリミング位置を示す枠画像であり、トリミング位置を示している。

図４はマーカー生成、付加、撮像画像の説明図である。図４を用い、図１の実施例のマーカー生成、付加、撮像および図２に示されるトリミング位置情報の説明を行う。

図２（Ｄ）に示される撮像画像のトリミング位置を表す枠画像は、液晶プロジェクタ装置のリモコンや操作ボタンで、表示状態、位置、サイズの変更、トリミング位置の確定が可能である。トリミング位置が確定されると、表示画像に対するトリミング位置を表す枠画像の左上座標と、枠のサイズ情報等のトリミング位置情報が制御部２６に記憶される。その後、図１におけるリモコン受光部２３もしくはＰＣ通信端子２４もしくは制御ボタン２５から、筆記表示板２２への投射画像の撮像命令が制御部２６に送られる。撮像命令を受け取った制御部２６は、まず予備撮像処理を行う。予備撮像処理では現在表示している画像を撮像する。

予備撮像画像は、撮像画像解析回路４１では、予備撮像画像を複数領域に分割したエリア毎の画像解析が行われる。画像解析結果は処理部２６に送られ、処理部２６において、マーカーを生成するのに適したＲＧＢデータであらわされるマーカーデータが決定される。マーカーデータはマーカー生成回路４２に送られ、マーカーデータからマーカー画像が生成される。マーカー画像は、画像処理回路１２において、図４（Ａ）で示されるように、現在表示している画像に、投射画像の四隅を判定できるマーカーの付加を行う。マーカーが付加された画像は従来通りパネル出力処理等が行われ、投射レンズ２１から投射される。デジタルカメラ２９で筆記表示板２２へ投射されているマーカー付加画像を撮像し、図４（Ｂ）で示される撮像された画像は撮像画像補正回路３０に入力される。マーカーの形状は、図４（Ａ）の形状である必要はなく、四隅だけに表示する必要もない。

図８は予備撮像画像の画像解析を行う撮像画像解析回路４１の詳細ブロック図である。図８における８０１はデジタルカメラ２９の出力するデジタルＲＧＢ信号を入力する撮像画像入力端子、８０２はデジタルカメラ２９の出力するデジタルＲＧＢ信号の同期を表す撮像同期信号を入力する撮像同期信号入力端子である。８０３は撮像同期信号入力端子８０２から入力される撮像同期信号と撮像信号入力端子８０１から入力されるデジタルＲＧＢ信号の撮像画像内の位置関係を関係づけるエリア検出回路である。前記エリア検出回路８０３は、撮像画像を複数領域に分割し、各領域をナンバリングした信号であるエリア信号を出力する。８０４は色空間変換回路であり撮像画像入力端子８０１から入力されるデジタルＲＧＢ信号を明度／彩度／色相信号に変換する。８０５は色相比較回路であり、色空間変換回路８０４の出力する色相信号を複数の色相域に分割し、色相域信号を出力する。８０６は無彩色処理回路であり、明度／彩度信号と制御部入出力端子から入力される制御信号に応じて、低明度もしくは低彩度と判断された時には、色相比較回路８０５の出力する色相域信号を無彩色信号とし、色相域信号もしくは無彩色信号を出力する。８０７はカウンタ群であり、エリア検出回路８０３の出力するエリア信号と無彩色処理回路８０６の出力する色相域信号もしくは無彩色信号から、撮像画像内を分割した複数領域毎の色相域数もしくは無彩色数をカウントする。その結果、カウンタ群８０７は、エリア毎の色相度数分布を演算することとなる。８０８はレジスタ群であり、撮像同期信号入力端子８０２の出力する撮像同期信号に応じて、カウンタ群８０７の出力するカウント値である色相度数分布を既定周期毎に格納する。また、カウンタ群８０７の各カウンタはレジスタ群８０８にカウント値を格納するとリセットされる。８０９は制御部入出力端子であり、レジスタ群８０８の各レジスタ値を制御部２６に出力するとともに、無彩色処理部８０６の制御を行う無彩色処理信号を入力する。

図９は、撮像画像解析回路４１の動作説明図１である。図９（Ａ）は予備撮像時に筆記表示板２０５に投射されている画像に手書き情報が追記されている様子である。図９（Ｂ）は図９（Ａ）画像が投射されている状態での予備撮像画像である。太い横波線は撮像ノイズを表している。図９（Ｃ）の格子を表す細い破線は撮像画像解析回路４１内で処理される予備撮像画像が分割された処理単位エリアを表している。つまり、図９では、予備撮像画像を水平方向１０分割、垂直方向１０分割の１００分割されたエリア毎の画像の解析が行われる。

図１０は撮像画像解析回路４１の動作説明図２であり、処理部２６へ送られる各エリアの色相度数分布の例である。図１０（Ａ）は、図９（Ｃ）に記されている処理単位エリアを表しており、図１０（Ａ）に記されているエリアＢ、Ｃ、Ｄの撮像画像解析回路出力が、図１０（Ｂ）、（Ｃ）、（Ｄ）に記されている。図１０（Ｂ）、（Ｃ）、（Ｄ）では、処理単位エリア内の色相度数分布が表示されている。本実施例での色相度数分布は、色相方向に１２分割、無彩色度数を含めると１３分割されている。図１０におけるＲ、Ｙ、Ｇ、Ｃ、Ｂ、Ｍは、各々赤色、黄色、緑色、シアン色、青色、マゼンタ色を表している。左上のエリアＢは図９（Ｂ）および図９（Ｃ）には図示されていないが、筆記表示板２０５の背景が撮像されているため、複数の色相を持つ撮像画像となっている。エリアＣでは、筆記表示板２０５の筆記表示面に図９（Ａ）画像の左上部が投射されているのみであり、色相度数分布は無彩色のみとなっている。エリアＤは、図９（Ａ）に図示されている項目３の内容と赤色の「×」印が重なっているエリアであり、無彩色および赤色の撮像画像が存在していることを表している。

図１１、図１２は、制御部２６の動作説明図であり、マーカーを生成するのに適したＲＧＢデータであらわされるマーカーデータの生成手法を説明する。図１１（Ａ）は、最外周エリア群のみを表しており、同様に、図１１（Ｂ）は図１１（Ａ）の内周エリア群、同様に図１１（Ｃ）は図１１（Ｂ）の内周エリア群を表している。図１２（Ａ）は図１１（Ａ）で示される最外周エリア群の色相度数分布、同様に、図１２（Ｂ）は図１１（Ｂ）で示されるエリア群の色相度数分布、図１２（Ｃ）は図１１（Ｃ）で示されるエリア群の色相度数分布とする。制御部２６では、各エリア群の重み付け係数を乗算し加算することにより、予備撮像画像の総色相度数分布である図１１（Ｄ）が計算される。制御部２６では、最低度数である色をマーカーデータとする。つまり、本実施例では、図１１（Ｄ）に示されるようにマゼンタ色が最低度数であり、マーカーデータはマゼンタ色となる。マーカーデータの生成手法は、本実施例では、同心長方形状に重み付け係数を乗算するとしているが、全エリアに独立に重み付け係数を用いてもかまわない。

図１３は、マーカー生成回路４２の処理説明図である。制御部２６出力するマーカーデータはマーカー生成回路４２に送られ、マーカーデータを用いたビットマップ画像でマーカーを生成する。図１３における水平／垂直の格子は画素単位を表しており、１６×１６画素のマーカーをあらわしている。細かい斜線格子は、マーカーデータ色の画素を表しており、白い画素は透過画素、黒い画素は黒データ画素である。図１３（Ａ）はマーカーデータ色の線で生成されたマーカーの例であり、図１３（Ｂ）は黒線とマーカーデータ色の正方形で生成されたマーカーの例である。つまり、マーカーの形状は図１３に限定するものではなくマーカーデータ色を用いて生成されれば、どのような形状であろうと構わない。さらに、マーカーを生成する画素数も１６×１６に限定するものではなく、液晶パネル２０等で示される表示手段の解像度に応じて可変であっても良い。

図３は、撮像画像補正処理回路３０の詳細ブロック図である。３０１は図１におけるフレームメモリ１０から投射画像データが入力されるフレームメモリ画像入力端子、３０２は、デジタルカメラ２９から撮像画像が入力される撮像画像入力端子である。さらに、３０３は制御部２６からトリミング情報およびマーカーデータ情報が入力される制御情報入力端子である。３０４はノイズの除去を行うノイズ除去回路、３０５は制御情報入力端子３０３から入力されるマーカーデータ情報を用いて撮像画像からマーカーを検出するマーカー検出回路、３０６は、形状加工を行う形状加工回路である。３０７は形状加工回路３０６出力から、投射画像の検出・除去を行う投射画像検出・除去回路、３０８は先鋭化回路、３０９は投射画像を付加する投射画像付加回路である。３１０は制御情報入力端子３０３入力されるトリミング情報に基づき、投射画像付加回路出力画像の切り出しを行うトリミング回路であり、３１１は撮像画像出力端子である。

図５は撮像画像補正処理３０の説明図である。図５を用い、図３の撮像画像補正処理回路３０の詳細ブロック図を説明する。

撮像画像入力端子３０２から入力される図５（Ａ）で示される撮像画像は、ノイズ除去回路３０４に送られる。ノイズ除去回路３０４では、複数フレームの撮像画像を用い、フレーム間の高周波成分を除去する巡回型ノイズ除去手法や、単一フレーム内での高周波成分を除去するフレーム内ノイズ除去手法等を用い、図５（Ｂ）で示されるノイズ除去処理画像が出力される。マ―カー検出回路３０５では、制御情報入力端子３０３から入力されるマーカーデータ情報を用いてマーカーを図５（Ｂ）から検出する。本実施例では、マゼンタ色もしくはマゼンタ色近傍の色に特化してマーカー検出を行うことにより、効果的にマーカー検出を行うことが可能となっている。図５（Ｃ）では、丸印で示されている。形状加工回路３０６では、マーカー検出回路３０５で検出されたマーカー座標を用いて、投射画像のアスペクト比を持つ長方形形状に変換する（図５（Ｄ））。投射画像検出・除去回路３０７では、図５（Ｄ）で示される形状加工された撮像画像から、フレームメモリ画像入力端子３０１から入力される投射画像を除去が行われる。その後、除去した画像のノイズ成分もＬＰＦ（ローパスフィルタ）、ガンマ処理やコントラスト処理、２値化処理等の階調処理を用い低減させる（図５（Ｅ））。先鋭化回路３０８は投射画像が除去された撮像画像の先鋭化を行う（図５（Ｆ））。投射画像付加回路３０９は、先鋭化処理された撮像画像に投射画像を付加する（図５（Ｇ））。トリミング加工回路３１０は、制御情報入力端子３０３から入力されるトリミング情報に基づき、投射画像付加回路出力から画像の切出しを行い、撮像画像出力端子３１１から出力される（図５（Ｈ）、（Ｉ））。

図６は、実施例の効果説明図であり、プレゼンテーションで異なる資料を表示している画像を示している。図６（Ａ）が本来の資料であるが、図６（Ｂ）では、付加画像メモリ３４に記憶されている図５（Ｉ）で示される画像が、左上に付加されている。このように、別の資料を表示している際にも、常に図５（Ｉ）で示される画像を表示することが可能となる。

図７は、動作説明フローチャート図である。図７の説明では、筆記表示板２２に投射されている画像のトリミング・撮像・付加表示を行う処理を「画面メモ」と呼ぶことにする。ユーザーが液晶プロジェクタ装置のメニュー、もしくは通信コマンド等から画面メモ実行コマンドを選択すると、トリミング位置を表示の有無が可能となる。全画面を撮像したい場合は、トリミング表示の必要はない。トリミングを行う場合には、付加されたトリミングの位置・大きさの変更が可能となる。トリミング位置が確定されると、撮像が可能となる。撮像実行を指定すると、投射画像を表示したまま撮像するか、別の特定画像に変更し撮像するかを選択することが可能となる。特定画像を選択した場合、撮像が終了すると元の投射画像に戻る。

まず、予備撮像処理となり、マーカーを表示していない現状の投射画像もしくは特定画像に変更された画像の撮像が行われる。予備撮像画像は予備撮像解析処理が施され、エリア別色度度数分布情報等の予備撮像解析結果が処理部に送られる。処理部では、エリア別色度度数分布情報等から総色度度数分布情報等が演算されマーカーデータ色が確定し、マーカーデータ色を有効に活用しマーカーが生成される。生成されたマーカーは表示されている画像もしくは特定画像に付加され撮像される。特定画像に変更されていた場合は、元の投射画像に戻る。撮像データはノイズ除去・マーカー検出・形状加工・トリミング処理等が行われ、撮像画像メモリに記憶される。次に付加される撮像画像の表示サイズが変更可能となる。変更を選択すると、撮像画像メモリからトリミングされた撮像画像を読出し、解像度変換処理され、付加画像メモリに記憶される（新画像メモと呼ぶ）。また、他の画像メモ（旧画像メモと呼ぶ）が既に存在している場合には、旧画像メモと新画像メモの表示位置が重なった場合の優先順位を選択可能となる。次に表示位置の変更が可能となり、表示値を変更する場合には、撮像画像付加位置変更処理および撮像画像付加、パネル出力処理等が行われ、画像メモが表示される。

また、新たに撮像する必要がない場合でも、画面メモの表示サイズ・優先順位・表示位置の変更は可能である。表示サイズを変更する場合には、撮像画像メモリに記憶されている撮像画像を再度解像度変換処理以降の処理を行うことで実施される。表示位置を変更する場合には、付加画像メモリから、解像度変換されている撮像画像を読出し、撮像画像付加位置変更処理以降の処理を行うことで実施される。

撮像時に特定画像を選択し、特定画像を黒画像とした場合は、撮像画像補正処理内の投射画像検出・除去手段処理を省くことが可能となる。また、投射環境等に応じて、白画像や中間画像、特定の色画像等を特定画像としてもかまわない。また、本実施例では、矢印や赤色の「×」印の手書き情報が付加された画像を撮像し画面メモとしているが、手書き情報に限定するものではなく、写真等を含む撮像可能な物体であればよい。

１…デジタルＲＧＢ入力端子、２…アナログＲＧＢ入力端子、３…ビデオ入力端子、４…レシーバ、５，６…アナログデジタル変換回路、７…ビデオデコーダ、８…マトリクス回路、９…入力セレクタ回路、１０…フレームメモリ、１１…解像度変換回路、１２…画像処理回路、１３…逆Ｖ−Ｔ補正回路、１４…ムラ補正回路、１５…パネル出力処理回路、１６…電源、１７…ランプ駆動回路（バラスト）、１８…ランプ、１９…インテグレータ光学系、２０…液晶パネル、２１…投射レンズ、２２…筆記表示板、２３…リモコン受光部、２４…ＰＣ通信端子、２５…制御ボタン、２６…制御部、２７…同期信号入力端子、２８…同期処理回路、２９…デジタルカメラ、３０…撮像画像補正処理回路、３１…撮像画像メモリ、３２…撮像画像解像度変換回路、３３…撮像画像付加回路、３４…付加画像メモリ３５…ネットワーク端子、３６…ネットワークコントローラ、３７…ＵＳＢコネクタ、３８…ＵＳＢコントローラ、３９…半導体メモリ入出力端子、４０…半導体メモリコントローラ、４１…撮像画像解析回路、４２…マーカー生成回路。

３０１…フレームメモリ画像入力端子、３０２…撮像画像入力端子、３０３…制御情報入力端子、３０４…ノイズ除去回路、３０５…マーカー検出回路、３０６…形状加工回路、３０７…投射画像検出・除去回路、３０８…先鋭化回路、３０９…投射画像付加回路、３１０…トリミング回路、３１１…撮像画像出力端子。

８０１…撮像画像入力端子、８０２…撮像同期信号入力端子、８０３…エリア検出回路、８０４…色空間変換回路、８０５…色相比較回路、８０６…無彩色処理回路、８０７…カウンタ群、８０８…レジスタ群、８０９…制御部入出力端子。

Claims (8)

1. 画像信号の入力を行う画像入力手段、画像入力手段から入力される画像信号を受け画像表示を行う画像表示手段を有する画像表示装置であって、
   前記画像表示手段の表示画像とともに表示画像に重ねられた情報を含む表示領域を撮像可能な撮像手段、
   前記撮像手段により撮像された撮像画像の画素データの解析を行う撮像画像解析手段、
   前記撮像画像解析手段出力に応じてマーカーの生成を行うマーカー生成手段、
   前記画像表示手段の表示画像の四隅を断定可能とすることを目的としたマーカー画像を表示画像に重畳可能なマーカー付加手段を具備し、
   前記画像入力手段から入力される入力画像に、前記マーカーが付加されていない状態の表示画像を画像表示手段に表示し、
   前記画像表示手段の表示領域を撮像手段で撮像し得られる撮像画像を、前記撮像画像解析手段において解析することにより前記撮像画像の特徴を抽出し、
   マーカー生成手段にて、前記特徴検出結果に応じてマーカーを生成し
   前記マーカーを前記マーカー付加手段にて前記入力画像に付加することを特徴とする画像表示装置。
2. 請求項１記載の撮像画像解析手段は、請求項１記載の撮像画像の色を解析することを特徴とする請求項１に記載の画像表示装置。
3. 請求項２記載の撮像画像解析手段は、請求項１記載の撮像画像全体もしくは請求項１記載の撮像画像を複数の領域に分割した領域内の画素データから色相成分を演算し、前記色相成分を既定色相数に分割し、前記既定色相の色相度数分布を演算することを特徴とする請求項２に記載の画像表示装置。
4. 請求項３記載の撮像画像解析手段は、請求項１記載の撮像画像全体もしくは請求項１記載の撮像画像を複数の領域に分割した領域内の画素データから色相成分を演算するとともに、同時に前記画素データから明度成分もしくは彩度成分を演算し、前記明度成分量もしくは彩度成分量に基づき前記画素データは色相成分を持たない無彩色成分であると判断し、前記色相成分を既定色相数に分割し、前記既定色相の色相度数分布を演算することを特徴とする請求項３に記載の画像表示装置。
5. 請求項１記載のマーカー生成手段は、請求項３記載の撮像画像解析手段の解析結果である既定色相の色相度数分布において、最低度数分布色相となるＲＧＢデータでマーカーを生成することを特徴とする請求項３に記載の画像表示装置。
6. 請求項１記載のマーカー生成手段は、請求項４記載の撮像画像解析手段の解析結果である既定色相の色相度数分布において、最低度数分布色相となるＲＧＢデータでマーカーを生成することを特徴とする請求項４に記載の画像表示装置。
7. 請求項５記載の画像表示装置であって、請求項１記載の撮像手段出力である撮像画像からマーカーの検出を行うマーカー検出手段を具備し、
   前記マーカー検出手段は、請求項５記載の撮像画像解析手段の解析結果である既定色相の色相度数分布において、最低度数分布色相となるＲＧＢデータを用いてマーカーを検出することを特徴とする請求項５に記載の画像表示装置。
8. 請求項６記載の画像表示装置であって、請求項１記載の撮像手段出力である撮像画像からマーカーの検出を行うマーカー検出手段を具備し、
   前記マーカー検出手段は、請求項６記載の撮像画像解析手段の解析結果である既定色相の色相度数分布において、最低度数分布色相となるＲＧＢデータを用いてマーカーを検出することを特徴とする請求項６に記載の画像表示装置。