JP7314719B2 - 表示装置、表示方法、プログラム - Google Patents

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

ユーザが手書きした手書きデータを表示する表示装置が知られている。表示装置の機能の１つとして、ＰＣ（Personal Computer）等の映像出力機器が入力した入力画像を映し出す機能がある。ユーザは映し出された映像の上に手書きすることができる。ユーザが保存ボタンを押下すると、表示装置は入力画像に手書き画像が重なった画像データを保存する。

このような表示装置においてユーザの操作を軽減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、手書き画像が保存された場合、ディスプレイから手書きデータを消去する表示装置について開示されている。

しかしながら、従来の技術では、ユーザが手書き画像を保存する操作を行わないとディスプレイから手書きデータが消去されないため、操作性が低下するおそれがあるという問題がある。

本発明は、上記課題に鑑み、手書きデータを消去する手間を軽減できる表示装置等を提供することを目的とする。

上記課題に鑑み、本発明は、映像出力機器から入力された映像と、画面に対する入力手段の接触位置に基づいて手書きデータとを表示する表示装置であって、前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、前記映像信号が変化した変化領域を特定する変化領域特定部と、を有し、前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする。

手書きデータの消去に関する操作性を向上できる表示装置等を提供することができる。

表示装置が表示する入力画像と手書きデータの保存方法を説明する図である。 画像処理システムの全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能をブロック状に分けて説明する機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 画像データの自動的な保存と手書きデータの消去に関する表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。 表示装置が、入力画像と手書き画像を保存し、手書きデータを消去する流れを説明する図の一例である。 変化領域の検出方法を説明する図の一例である。 変化領域と重なっている手書きデータの特定方法を説明する図の一例である。 表示装置が映像信号の変化に応じて、入力画像と手書き画像を保存し手書きデータを消去する手順を示すフローチャート図の一例である。 表示装置が映像信号の変化に応じて、入力画像と手書き画像を保存し、重なりの判断を行わず手書きデータを消去する手順を示すフローチャート図の一例である。 表示装置がディスプレイに表示する消去範囲受付画面の一例を示す図である。 表示装置が映像信号の変化に応じて、動画でない場合に、入力画像と手書き画像を保存し、手書きデータを消去する手順を示すフローチャート図の一例である。 表示装置が映像信号の変化に応じて、動画でない場合に、入力画像と手書き画像を保存し、重なりの判断を行わず手書きデータを消去する手順を示すフローチャート図の一例である。 表示装置による映像の表示方法の一例を示す図である。 手書きデータの画面遷移図の一例である。 ページデータの自動的な保存と手書きデータの消去に関する表示装置の機能をブロックに分けて説明する機能ブロック図の一例である（実施例２）。 グループ化された手書き配列データを示す図の一例である。 表示装置が映像信号の変化に応じて、入力画像と手書き画像を保存し、手書きデータを消去する手順を示すフローチャート図の一例である。 グループ化の基準を受け付けるグループ化設定画面の一例を示す図である。 一定時間の経過ごとに手書きデータをグループ化して、表示装置が映像信号の変化に応じて入力画像と手書き画像を保存し、手書きデータを消去する手順を示すフローチャート図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行うデータ保存方法について図面を参照しながら説明する。

＜本実施形態の表示装置の動作の概略＞
まず、図１を参照して本実施形態の表示装置の動作の概略について説明する。図１は、表示装置２が表示する入力画像（Ｃ）と手書きデータの保存方法を説明する図である。図１（ａ）に示すように、表示装置２にはＰＣなどの映像出力機器６が有線ケーブル又は無線で接続されており、映像出力機器６が出力する映像信号がリアルタイムに表示装置２に入力されている。表示装置２は映像信号に基づいて入力画像（Ｃ）を表示している。

映像出力機器６が表示する映像はどのようなものでもよい。図１（ａ）ではＷｅｂブラウザの画面が表示されているが一例に過ぎない。

ユーザが表示装置２に表示された入力画像（Ｃ）に手書きする場合、入力画像（Ｃ）に関係がある情報を手書きする場合が多いと考えられる。入力画像（Ｃ）が変われば、それまでの手書きデータは不要になる可能性がある。したがって、手書きデータを保存するタイミングの１つとしては、映像が変化したタイミングが好適となる。

また、映像出力機器６が表示する映像が変化する場合には、以下のような例が挙げられる。
(i) 映像が静止画でありユーザが映像出力機器６を操作して映像を切り替える操作を行った場合。
(ii) 映像出力機器６が送信する映像の一部又は全体が動画であり、ユーザが映像出力機器６を操作して動画を断続的に進めた場合。
(iii) 映像出力機器６が送信する映像の一部又は全体が動画であり、入力画像（Ｃ）が動画の遷移によって変化する場合。

図１（ｂ）はユーザが手書きした状態の入力画像（Ｃ）を示す。なお、図１（ｂ）では(ii)で説明した映像の一部が動画である場合を想定している。図１（ｂ）の手書きデータ８は、映像が変化するまでは、映像に基づいてユーザが議論する可能性が高いため、映像が変化するまでは表示しておくべきである。一方、入力画像（Ｃ）が変化した場合、変化するまでに入力画像（Ｃ）に対して手書きされた情報は不要になる可能性があると考えられる。

図１（ｃ）は入力画像（Ｃ）が変化した場合の入力画像（Ｃ）と手書きデータ８の一例を示す。図１（ｃ）に示すように、入力画像（Ｃ）が変化すると表示装置２は、変化する直前の手書きデータ８と入力画像（Ｃ）を重ねて１枚の画像データ１０１として保存する。そして、表示装置２は不要になった手書きデータ８をディスプレイ３から消去する。

このように、本実施形態の表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。従来は、ユーザが保存する操作を入力する必要があった。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。従来は、ユーザが何らかの消去のための操作を行う必要があった（例えば、画面全体から手書きデータ８を消去する操作、画面の一部の手書きデータ８を消去する操作等）。

＜用語について＞
手書きデータ８とは、ディスプレイ上でユーザが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという場合がある。手書きデータ８は１つ以上のストロークデータを有するが、特に言及しない場合は区別せずに手書きデータ８という。

手書きデータを画面から消去するとは、人間の目に見えない状態にすることをいう。縮小して移動して表示したままにしてもよい。

＜システムの概要＞
図２は、本実施形態の画像処理システム１の全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等を利用してもよい。

図２に示されているように、画像処理システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、映像出力機器６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ（Personal Computer）８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワークＮを介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの指を含む手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High－Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、映像出力機器６ａが接続されている。ケーブル１０ａ１はネットワークでもよい。

そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、映像出力機器６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、映像出力機器６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、映像出力機器６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイ３のうち任意のディスプレイ３を示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数の映像出力機器のうち任意の映像出力機器を示す場合には「映像出力機器６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、情報処理装置の一例として、表示装置２を説明するが、これに限るものではなく、情報処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、映像出力機器６の一例としてノートＰＣが挙げられるが、映像出力機器６としては、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。なお、これら情報処理装置では表示装置２用の所定のアプリケーション（プログラム）が動作しており、アプリケーションがタッチパネルに対する接触位置に基づいて手書きデータ８を表示する。

更に、通信ネットワークＮには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード（登録商標）等の各種記録メディアであってもよい。

＜表示装置のハードウェア構成＞
図３は、表示装置２のハードウェア構成図の一例である。図３では表示装置２として電子黒板を想定して説明する。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ/Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ２０５は、通信ネットワークＮとの通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイ３コントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２、選択スイッチ類２２３、及び、カメラ２２４を備えている。

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレイ３に対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイ３コントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、表示装置２の電源のＯＮ/ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。

カメラ２２４はディスプレイ３の例えばベゼルに内蔵されている撮像装置であり、表示装置２の前方を撮像する。カメラ２２４があればカメラ２６０のように外付け型のカメラはなくてもよい。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

＜表示装置の機能構成＞
続いて、図４、図５を用いて、表示装置２の機能構成について説明する。図４は、表示装置２の機能をブロック状に分けて説明する機能ブロック図であり、図５は各画像レイヤの構成図の一例である。

表示装置２は、図３に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。

クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図２において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。

〔クライアント部の機能構成〕
続いて、主に図４、図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器６が出力する入力画像（すなわち、映像信号）を取得する。映像取得部２１は、映像出力機器６から映像を受信すると、この映像を解析して、この映像によって形成される映像出力機器６の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザが入力手段を接触させた座標位置を検出する。ユーザがディスプレイ３上で入力手段を連続的に移動させた軌跡が手書きデータ８である。また、この手書きデータ８をストロークという場合がある。なお、入力手段は電子ペン４又はユーザの手Ｈのどちらでもよい。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、表示装置２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、手書きデータ描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「手書きデータ描画」は、ディスプレイ３上に図５に示されている後述の手書き画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。この手書きデータ描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「手書きデータ描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図５に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図５に示されている後述の手書き画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示処理部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器６等からの映像に対して、テレビ会議端末７等から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。

画像処理部３０は、図５に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、手書きデータ処理部３２、メニュー画像生成部３３、画像生成部３４、レイアウト管理部３５、表示処理部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図５に示されている映像出力機器６等からの入力画像（Ｃ）に相当する。本実施形態では入力画像（Ｃ）を映像と称している。

手書きデータ処理部３２は、イベント振分部２５によって割り振られた手書きデータ描画に係るイベントに基づいて、画像（手書きデータ８）を描画したり、描画された画像を削除したり、描画された画像を編集する。この手書きデータが描画された画像は、図５に示されている手書き画像（Ｂ）に相当する。また、この手書きデータに基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０に記憶される。

メニュー画像生成部３３は、表示装置２に予め設定されているＵＩ画像（Ａ）（ユーザインターフェース画像）を生成する。このＵＩ画像（Ａ）は、図５に示されているＵＩ画像（Ａ）に相当する。

画像生成部３４は、ページ処理部３７がページデータ記憶部３００（表１～表４参照）から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。画像生成部３４は、この受信したメディアデータを表示処理部３６に出力する。また、このメディアデータによる画像は、図５に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示処理部３６に対して、画像取得部３１、手書きデータ処理部３２、及びメニュー画像生成部３３（又は画像生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示処理部３６に対して、入力画像（Ｃ）及び手書き画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示処理部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、手書きデータ処理部３２、メニュー画像生成部３３、及び画像生成部３４から出力された各画像のレイアウトを行う。

ページ処理部３７は、手書き画像（Ｂ）のデータと入力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。手書き画像（Ｂ）のデータは、手書き配列データ（各手書きデータ８）としてページデータの一部を成す。入力画像（Ｃ）のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、画像生成部３４を介して表示処理部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちの手書き配列データ（各手書きデータ８）を、手書きデータ処理部３２に戻すことで、手書きデータ８の再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている入力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、手書き画像（Ｂ）を示す手書き配列データを、手書きデータ処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、画像生成部３４に出力する。

表示処理部３６は、画像取得部３１からの入力画像（Ｃ）、手書きデータ処理部３２からの手書き画像（Ｂ）、メニュー画像生成部３３からのＵＩ画像（Ａ）、及び、画像生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図５に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、手書き画像（Ｂ）、入力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示処理部３６は、図５に示されている入力画像（Ｃ）と背景画像（Ｄ）を切り替えて、ＵＩ画像（Ａ）及び手書き画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、ＵＩ画像（Ａ）、手書き画像（Ｂ）及び入力画像（Ｃ）が表示されている状態で、表示装置２と映像出力機器６等との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、入力画像（Ｃ）を重畳対象から外し、背景画像（Ｄ）を表示させることができる。この場合に、また、表示処理部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ファイル処理部４０は、ファイルの入力と出力に関する処理を行う。ファイル処理部４０は、ＵＳＢメモリ５等の記憶装置から画像データを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。また、ファイル処理部４０は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換して、ＵＳＢメモリ５等の記憶装置に記憶させる。この他、ＰＤＦファイルを電子メールに添付して送信する。

〔サーバ部の機能構成〕
サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部７０、及び通信ネットワークＮを介して他の表示装置２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

ページデータ記憶部３００は、表１に示されているようなページデータを記憶する。表１は、ページデータを概念的に示す。ページデータは、ディスプレイ３に表示される１ページ分のデータ（手書き配列データ（各手書きデータ８）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、表１～表４に分けて、ページデータの内容を説明する。

ページデータは、表１に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、手書きやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによる手書きによって生じた手書き配列データを識別するための手書き配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。手書き配列データは、図５に示されている手書き画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、手書きデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、手書きデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、手書き配列データは、表２に示されているように詳細な情報を示している。表２は、手書き配列データを概念的に示す。表２に示されているように、１つの手書き配列データは、複数の手書きデータ８によって表される。そして、１つの手書きデータ８は、この手書きデータ８を識別するための手書きデータＩＤ、１つの手書きデータ８の書き始めの時刻を示す開始時刻、１つの手書きデータ８の書き終わりの時刻を示す終了時刻、手書きデータ８の色、手書きデータ８の幅、及び、手書きデータ８の通過点の配列を識別するための座標配列データＩＤを示している。

更に、この座標配列データは、表３に示されているように詳細な情報を示している。表３は、座標配列データを概念的に示す。表３に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときの手書きの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、表３に示されている１点の集まりが、表２に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、表１に示されているページデータのうちのメディアデータは、表４に示されているように詳細な情報を示している。表４は、メディアデータを概念的に示す。表４に示されているように、メディアデータは、表１に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。

＜画像データの自動的な保存と手書きデータの消去に関する表示装置の機能＞
続いて、図６を参照して、画像データの自動的な保存と手書きデータの消去に関する表示装置２の機能について説明する。図６は、画像データの自動的な保存と手書きデータ８の消去に関する表示装置２の機能をブロックに分けて説明する機能ブロック図の一例である。図６では、図４に示した機能からページデータの自動的な保存と手書きデータ８の消去に関する一部の機能を抽出して示す。

画像取得部３１は変化領域特定部４１を有している。変化領域特定部４１は入力画像（Ｃ）又は映像信号の変化を検出すると共に、変化領域を特定する。入力画像（Ｃ）は映像信号を画像に変換したものであり、両者は実施的に同じものであるため、変化領域特定部４１はどちらに基づいて変化を検出してもよい。以下では、映像信号に基づいて変化を検出するものとして説明する。また、映像信号の変化はディスプレイ３への表示前に検出されても表示後に検出されてもよい。変化領域特定部４１は映像信号の変化を検出した旨と変化領域を画像保存部３８に通知する。

これにより、画像保存部３８は現在のページの手書きデータ８と入力画像（Ｃ）をページ処理部３７から取得して、１つの画像データ１０１として画像データ記憶部４４に保存する。画像データ１０１のフォーマットは例えばＰＤＦであるが、ＪＰＥＧ、ＢＭＰ、ＴＩＦＦ，ＧＩＦなどでもよい。保存された画像データ１０１はディスプレイ３に例えばサムネイル表示される。表５に画像データ記憶部４４に保存されている画像データを模式的に示す。

表５に示すように、画像データ記憶部４４には、保存日時に対応づけて画像データのリストが記憶される。

手書きデータ処理部３２は領域判断部４２と消去部４３を有している。変化領域特定部４１は領域判断部４２に映像信号の変化を検出した旨と変化領域を通知する。領域判断部４２は、変化領域に手書きデータ８が含まれるか否かを判断する。変化領域の手書きデータ８のみを消去できるようにするためであるが、手書きデータ８の全体を消去してもよい。この場合、領域判断部４２はなくてもよい。

消去部４３は、領域判断部４２が変化領域と重なっている手書きデータ８を手書き画像（Ｂ）から消去する。つまり、手書き画像（Ｂ）に変化領域と重なっていない手書きデータ８がある場合、変化領域と重なっている手書きデータ８のみを消去する。あるいは、手書き画像（Ｂ）から全ての手書きデータ８を消去してもよい。

＜入力画像と手書き画像の保存の流れ＞
図７は、表示装置２が、入力画像（Ｃ）と手書き画像（Ｂ）を保存し、手書きデータを消去する流れを説明する図である。
・図７（ａ）は表示装置２が手書きデータ８を表示していない状態を示す。入力画像（Ｃ）が明記されていないが、すでに入力画像（Ｃ）が表示装置２に入力されディスプレイ３の全体に表示されている。
・図７（ｂ）はユーザが手書きしたため、２つの手書きデータ８ａ、８ｂが表示された手書き画像（Ｂ）を示す。上記のように、ページデータ記憶部３００には手書きデータ８の座標点、開始時刻、終了時刻等が記憶される。
・図７（ｃ）は映像出力機器６が図７（ａ）とは異なる映像信号を表示装置２に入力した状態を示す。例えば、映像の一部（動画を断続的に進めた）が変化した。図７（ｃ）では矩形の変化領域１１０が示されている。変化領域１１０の検出方法については図８にて説明する。消去部４３は変化領域１１０と重なっている手書きデータ８のみを消去する。
・図７（ｄ）は変化領域１１０と重なっている手書きデータ８が消去された状態を示す。図７（ｄ）では２つの手書きデータ８ａ、８ｂのうち変化領域１１０と重なっている手書きデータ８ａのみが消去されている。

なお、画像保存部３８は図７（ｂ）の状態の手書きデータ８と入力画像（Ｃ）を重ねて１つの画像データ１０１として保存する。すなわち、映像が変化する直前の手書き画像（Ｂ）と入力画像（Ｃ）を保存する。消去される手書きデータ８のみを保存しないのは、消去される手書きデータ８のみを保存すると手書きデータ８の全体が分かりにくくなるためである。ただし、消去される手書きデータ８のみと入力画像（Ｃ）とを保存してもよい。

＜変化領域の検出＞
図８は、変化領域１１０の検出方法を説明する図である。図８（ａ）と図８（ｂ）は時間的に異なる映像信号の一部を示している。映像信号は、主にアナログ信号とデジタル信号に分けられる。アナログ信号にはＲＧＢ、コンポーネント、Ｄ（Ｄ１～Ｄ５）などがある。ＲＧＢの場合、Ｒ/Ｇ/Ｂ/ＨＤ（水平同期信号）/ＶＤ（垂直同期信号）が同軸ケーブルで送信される。コンポーネントでは、Ｙ（輝度/同期信号）/Ｐｂ（青の色差信号）/Ｐｒ（赤の色差信号）が３本のケーブルで送信できる。Ｄはコンポーネントの３本のケーブルを、１つのコネクタにまとめたものをいう。この他、アナログ信号には、セパレート、コンポジット、及び、ＤＶＩ－Ａがある。

デジタル信号には、ＤＶＩ－Ｄ、ＨＤＭＩ（登録商標）、Display Port（登録商標）などがある。ＨＤＭＩ（登録商標）は、TMDS(Transition Minimized Differential Signaling)、DDC(Display Data Channel）、CEC(Consumer Electronics Control)、HEC(HDMI Ethernet Channel)、ARC(Audio Return Channel)の５つの信号を送信する。ＤＶＩ－Ｄはアナログ信号をサポートする点でＨＤＭＩ（登録商標）と異なる。Display Portは、RGBの映像信号とクロック信号を別々に送るＨＤＭＩ（登録商標）とは異なり、映像/音声すべてを「Transfer Unit」というマイクロパケットに分割して宛先デバイスへシリアル転送する。

映像出力機器６は映像信号の変化の有無に関係なく、所定の更新頻度で映像信号を表示装置２に送り続けている。この更新頻度をリフレッシュレートという場合がある。更新頻度は有線か無線かの違い、解像度、ケーブルの種類（ＨＤＭＩ（登録商標）、Display Port（登録商標）、DVI－D）の違い等により様々であるが、例えば数１０Ｈｚから数１００Ｈｚである。したがって、変化領域特定部４１は更新頻度に応じて切り替わる映像信号を次々に比較する。ただし、更新頻度と同じタイミングで比較するのでなく、映像信号が更新されたＮ回に１回、比較してもよい。

変化領域特定部４１は、時間的に前の映像信号と後の映像信号を同じ位置の画素ごとに比較する。すなわち、最後の映像信号を保存しておき、保存した映像信号と次の映像信号を比較する。入力画像で比較する場合は、映像信号を入力画像に変換して、最後の入力画像を保存しておき、保存した入力画像と次の入力画像を比較する。

図８では格子点が画素位置とすると、同じ座標の画素値の差を画素ごとに算出し、差の絶対値（又は二乗）がゼロでない画素位置を決定する。図８の例では、（Ｘ１，Ｙ１）～（Ｘ２，Ｙ２）の画素位置で画素値の差がゼロでないことが検出される。この場合、変化領域特定部４１は（Ｘ１，Ｙ１）～（Ｘ２，Ｙ２）を変化領域１１０に特定する。このように、画素値が異なる最大座標と最小座標を含む矩形を変化領域１１０に決定できる。

映像信号を格子状に分割してもよい。この場合、図８の格子の１マスをいくつかの画素が含まれる大きさとして、変化領域特定部４１は時間的に前の映像信号と後の映像信号の画素値の差を算出する。差の絶対値（又は二乗）がゼロでない画素が所属するマスにフラグを立てるなどすれば、フラグが立っているマスの集合が変化領域１１０である。

＜変化領域と重なっている手書きデータの特定＞
次に、図９を用いて、変化領域１１０と重なっている手書きデータ８の特定方法を説明する。図９は、変化領域１１０と重なっている手書きデータ８の特定方法を説明する図の一例である。図９（ａ）では変化領域１１０に一筆書きの手書きデータ８ａが重なっている。この場合、手書きデータ８ａは１本のストロークなので、手書きデータ８ａの一部でも変化領域１１０に重なっている場合には、手書きデータ８ａと変化領域１１０が重なっていると判断できる。具体的には領域判断部４２は以下のような判断を行っている。

変化領域１１０の左上コーナーのＸ座標をＸｓ、Ｙ座標をＹｓ、変化領域１１０の右下コーナーのＸ座標をＸe、Ｙ座標をＹｅとする。手書きデータ８を構成する座標点をＸ，Ｙで表す。

Ｘｓ≦ Ｘ ≦ Ｘｅ かつ Ｙｓ≦ Ｘ ≦ Ｙｅ
を満たす座標が手書きデータ８に１つでもあれば、領域判断部４２はこの手書きデータ８（１本のストロークのこと）が変化領域１１０と重なっていると判断する。なお、変化領域１１０の座標（Ｘｓ、Ｙｓ）（Ｘｅ、Ｙｅ）にはマージンを設けて、実際の変化領域よりも広い面積を変化領域と見なしてもよい。ユーザは変化領域１１０が重なるように手書きしないで、周囲に手書きする場合があるためである。

一方、図９（ｂ）に示すように、手書きデータ８が複数のストロークを有し、その一部が変化領域１１０と重なっている場合がある。図９（ｂ）ではユーザが「ＡＢＣ」という文字を手書きしたが、「Ａ」のみが変化領域１１０と重なっている。「ＡＢＣ」の全体が表示されることに意味がある場合、変化領域１１０と重なっている「Ａ」のみを消去することは妥当でない。

そこで、領域判断部４２は、空間的な距離又は時間的な距離に近い複数の手書きデータ８については、一部の手書きデータ８のみが変化領域１１０と重なっていても、空間的又は時間的に近い複数の手書きデータ８の全てが変化領域１１０と重なっているとみなす。空間的又は時間的に近い複数の手書きデータ８を「関連がある手書きデータ」と称する。

時間的に近いか否かを判断する場合、領域判断部４２は、各ストロークの終了時刻と次のストロークの開始時刻の差が閾値未満又は閾値以下の場合、関連がある手書きデータであると判断する。例えば、「Ａ」の最後のストロークの終了時刻を時刻ｔＡ、「Ｂ」の最初のストロークの開始時刻を時刻ｔＢとする。

領域判断部４２は
ｔＢ－ｔＡ ＜ 閾値ΔＴ
ｔＢ－ｔＡ ≦ 閾値ΔＴ
の少なくともどちらかの場合、「Ａ」と「Ｂ」が、関連がある手書きデータであると判断する。「Ｂ」と「Ｃ」についても同様であり、この判断を繰り返すことで関連がある手書きデータを特定できる。

空間的な距離が近いか否かを判断する場合、領域判断部４２は、各ストロークの座標と別のストロークの座標の最接近距離が閾値未満又は閾値以下の場合、関連がある手書きデータであると判断する。例えば、全ストロークから１対のストロークの組み合わせを全て抽出して最接近距離を算出する。

領域判断部４２はストローク間の最近接距離が
最近接距離 ＜ 閾値ΔＬ
最近接距離 ≦ 閾値ΔＬ
の少なくともどちらかの場合、１対のストロークが、関連がある手書きデータを構成していると判断する。この判断を全ての１対のストローク間で繰り返すことで関連がある手書きデータを特定できる。

あるいは、重なっているストロークは、これらのストロークが、関連がある手書きデータを構成していると判断して、最近接距離の算出を省略すれば、処理負荷を低減できる。重なっている２つ以上のストロークを１つのグループと見なし、グループに属するストロークの最左、最右、最上及び最下の座標を有するストロークについてのみ、他のグループのストロークと距離を算出する。図９（ｂ）では「Ａ」「Ｂ」をグループと見なして、「Ａ」を構成するストロークの座標（ＸＡ，ＹＡ）と「Ｂ」を構成するストロークの座標（ＸＢ，ＹＢ）の距離を算出して、最接近距離を算出する。これにより、「Ａ」の最後のストロークと「Ｂ」の最初のストロークが関連していることが分かる。なお、文字認識を行って各文字の重心の距離を比較してもよい。

＜動作手順＞
・まず、「(i) 映像が静止画でありユーザが映像出力機器６を操作して映像を切り替える操作を行った場合。」又は「(ii) 映像出力機器６が送信する映像の一部又は全体が動画であり、ユーザが映像出力機器６を操作して動画を断続的に進めた場合。」について説明する。

図１０は、表示装置２が映像信号の変化に応じて、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１０は映像信号の入力中、繰り返し実行される。

変化領域特定部４１は、映像信号に変化があるか否かを判断する（Ｓ１）。映像信号の変化は映像全体の一部にでも変化があれば変化ありと判断される。ただし、メニュー用の領域など、映像信号のうち変化を検出しない領域が決まっていてもよい。これにより処理負荷を低減できる。

映像信号に変化があった場合（Ｓ１のＹｅｓ）、画像保存部３８は入力画像（Ｃ）と手書き画像（Ｂ）を１つの画像データ１０１として保存する（Ｓ２）。すなわち、映像信号に変化があったので変化前の入力画像（Ｃ）と手書き画像（Ｂ）を保存しておく。保存するのは映像信号の変化直前の入力画像（Ｃ）であるが、変化するまでは映像信号が変化していないので、入力画像（Ｃ）に関しては前回の変化から今回の変化の間のいずれかのタイミングで取得された入力画像（Ｃ）を保存すればよい。手書き画像（Ｂ）については映像信号の変化の直前のものが好ましい。

次に、領域判断部４２は変化領域１１０を特定する（Ｓ３）。また、領域判断部４２は変化領域１１０と重なっている手書きデータ８を特定する（Ｓ４）。

領域判断部４２はステップＳ４の結果に応じて、変化領域１１０と手書きデータ８が重なっているか否かを判断する（Ｓ５）。

変化領域１１０と手書きデータ８が重なっていない場合（Ｓ５のＮｏ）、手書きデータ８は消去されない。

変化領域１１０と手書きデータ８が重なっている場合（Ｓ５のＹｅｓ）、消去部４３は、変化領域１１０と重なっている手書きデータ８を消去する（Ｓ６）。

こうすることで、映像信号に変化がある場合には、手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。また、変化領域１１０と重なっている手書きデータ８だけを消去できるので、映像信号と関係の薄い手書きデータ８が残り、引き続きユーザは変化領域１１０と重なっていない手書きデータ８を見ながら議論できる。

なお、図１０では、映像信号に変化があった場合、画像データ１０１は保存されるが、手書きデータは消去されない場合が生じ得る。これを避けるために、映像信号に変化があった場合に画像データ１０１を保存するのでなく、変化領域１１０と手書きデータ８が重なっている場合に画像データ１０１を保存してもよい。

また、図１０では映像信号と重なっている手書きデータ８のみを消去したが、図１１に示すように手書き画像（Ｂ）の全体を消去してもよい。図１１は、表示装置が映像信号の変化に応じて、入力画像と手書き画像を保存し、重なりの判断を行わず手書きデータを消去する手順を示すフローチャート図の一例である。

図１１では変化領域１１０の特定、及び、変化領域１１０と手書きデータ８の重なりの判断を行わずに、消去部４３が手書き画像（Ｂ）を消去している（Ｓ７）。

こうすることで、手書き画像（Ｂ）の全体が消去されるので、映像信号の変化に応じてユーザが手書き画像（Ｂ）の全体を消去したい場合に、ユーザの操作に関する手間を低減できる。

あるいは、消去の前に表示装置２が、変化領域１１０と重なっている手書きデータ８を消去するのか、手書き画像（Ｂ）の全体を消去するのかをユーザに問い合わせてもよい。

図１２は、表示装置２がディスプレイ３に表示する消去範囲受付画面１２０の一例である。消去範囲受付画面１２０は手書きデータを消去する消去範囲を受け付ける。消去範囲受付画面１２０はユーザがこの画面の表示をＯＮに設定している場合に表示される。映像信号に変化が検出されるとメニュー画像生成部３３は消去範囲受付画面１２０をディスプレイ３に表示する。消去範囲受付画面１２０は、「変化領域と重なっている手書きデータ」１２１、「全体」１２２、「消去しない」１２３のそれぞれの選択肢に対応するラジオボタン１２４を有している。ユーザは、消去したい範囲を考慮して適切なラジオボタン１２４を選択できる。

・次に「(iii) 映像出力機器６が送信する映像の一部又は全体が動画であり、入力画像が動画の遷移によって変化する場合。」について説明する。

動画のように連続的に変化する映像信号が入力された場合、図１０，図１１のステップＳ１の判断は常にＹｅｓとなる。しかし、動画の場合、動画の各フレーム（動画を構成する各画像）を保存すると保存容量を圧迫するおそれがある。そこで、表示装置２が映像信号に基づいて動画であるか否かを判断するとよい。動画であるかどうかは、連続したフレームの映像がほぼ常に変化するかどうかにより判断できる。すなわち、映像信号に変化があり、変化がある映像信号が一定数以上連続している場合に、変化領域特定部４１が動画であると判断できる。

図１３，図１４は、表示装置２が映像信号の変化に応じて、動画でない場合に、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１３、図１４の説明においては、図１０，図１１との相違を主に説明する。

図１３，図１４では、ステップＳ１－２において、変化領域特定部４１が動画であるか否かを判断している。したがって、動画でない場合にのみ、入力画像（Ｃ）と手書き画像（Ｂ）を画像データ１０１にして保存し、変化領域１１０と重なっている手書きデータ８又は手書き画像（Ｂ）の全体を消去できる。

＜ディスプレイの一部のみに映像が表示される場合＞
図１５に示すように、ディスプレイ３の一部にだけ表示装置２が映像を表示する場合がある。図１５は、表示装置２による映像の表示方法の一例を示す。図１５の表示装置２は、左側が映像領域１３１で、右側が手書き領域１３２である。左右は逆でもよい。ユーザはディスプレイ３の全体に入力画像（Ｃ）を表示するか、一部にだけ表示するかを設定で変更できる。ディスプレイ３の一部にだけ表示装置２が入力画像（Ｃ）を表示する場合も同様に本実施例を適用できる。

表示装置２は、映像領域１３１の映像信号の変化を検出する。しかし、変化領域１１０と手書きデータ８は重なっていないので、表示装置２は手書きデータ８の全体を消去する。

＜まとめ＞
以上説明したように、本実施形態の表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。

なお、本実施例では映像出力機器６が１台の場合を説明したが、映像出力機器６は２台以上でもよい。この場合、ディスプレイ３が分割された複数の領域を有し、各領域に映像が表示される。表示装置２は、例えば領域ごとに映像信号の変化を検出して、実施例１と同様に処理する。

本実施例では、手書きデータ８をグループ化してグループ単位で消去する表示装置２について説明する。

＜入力画像と手書き画像の保存の流れ＞
まず、図１６を用いて、本実施例の表示装置２が手書きデータ８を削除する概略を説明する。図１６は、手書きデータ８の画面遷移図の一例である。
・図１６（ａ）は表示装置２が手書きデータ８を表示していない状態を示す。入力画像（Ｃ）が明記されていないが、すでに入力画像（Ｃ）が入力されディスプレイ３の全体に表示されている。
・図１６（ｂ）はユーザが手書きしたため、２つの手書きデータ８ａ、８ｂが表示された手書き画像（Ｂ）を示す。上記のように、ページデータ記憶部３００には手書きデータ８ａ、８ｂの座標点、開始時刻、終了時刻等が記憶される。
・図１６（ｃ）は映像出力機器６が図１６（ａ）とは異なる映像信号を表示装置２に入力した状態を示す。例えば、映像の一部（動画を断続的に進めた）が変化した。図１６（ｃ）では矩形の変化領域１１０が示されている。実施例１と同様に、消去部４３は変化領域１１０と重なっている手書きデータ８のみを消去するが、図１６（ｃ）では変化領域１１０と重なっている手書きデータ８がないため、手書きデータ８は消去されない。表示装置２は実施例１と同様に、手書き画像（Ｂ）と手書きデータ８を画像データ１０１として保存する。

また、本実施例では、映像信号の変化を検出した場合、表示装置２が手書きデータ８をグループ化する。図１６（ｃ）では、映像信号が変化するまでの２つの手書きデータ８ａ、８ｂがグループ１にグループ化されている。
・図１６（ｄ）ではユーザが別の手書きデータ８ｃを手書きした状態を示す。図１６（ｄ）では映像信号に変化がない。
・図１６（ｅ）は映像出力機器６が図１６（ｃ）とは異なる映像信号を表示装置２に入力した状態を示す。図１６（ｅ）では矩形の変化領域１１０が示されている。図１６（ｅ）では変化領域１１０と重なっている手書きデータ８ａがあるため、表示装置２はこの手書きデータ８ａと同じグループ１の手書きデータ８を消去する。表示装置２は実施例１と同様に、手書き画像（Ｂ）と手書きデータ８を画像データ１０１として保存する。

また、映像信号の変化を検出したので、表示装置２が手書きデータ８をグループ化する。図１６（ｅ）では、最後に映像信号が変化してから次に映像信号が変化するまでに手書きされた手書きデータ８ｃがグループ２にグループ化されている。
・図１６（ｆ）は、グループ１の手書きデータ８が削除された状態を示す。図１６（ｆ）では３つの手書きデータ８のうち変化領域１１０と重なっている手書きデータ８ａだけでなく、手書きデータ８ａと同じグループ１の手書きデータ８ｂが消去されている。

このように、本実施例の表示装置２は、実施例１の効果に加え、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化し、同じグループの手書きデータ８を削除するので、映像信号に対し手書きされた手書きデータ８をまとめて消去できる。つまり、手書きデータ８が入力画像（Ｃ）に対して行われる場合、映像信号が変化すれば変化までの手書きデータ８が不要になると考えられるが、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化して消去することで、映像信号に関連がある手書きデータ８をユーザの手間を削減してまとめて消去できる。

＜機能について＞
図１７は、ページデータの自動的な保存と手書きデータ８の消去に関する表示装置２の機能をブロックに分けて説明する機能ブロック図の一例である。図１７の説明において、図６において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の表示装置２はグループ化部４５を有している。グループ化部４５は映像信号が最後に変化してから次に変化するまでの手書きデータ８をグループ化する。グループ化とは、手書きデータ８に識別情報を付与して他と区分することをいう。

図１８は、グループ化された手書き配列データを示す図の一例である。図１８ではst001とst002がグループ１に分類され、st003がグループ２に分類されている。グループ化部４５は、映像信号の変化のたびに、まだグループ化されていないストロークデータを同じグループにグループ化すればよい。

＜動作手順＞
図１９は、表示装置２が映像信号の変化に応じて、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１９の説明に関しては図１０との相違を主に説明する。図１９では、ステップＳ２－２が追加されている。

映像信号が変化した場合、グループ化部４５は変化までの手書きデータ８をグループ化する（Ｓ２－２）。ステップＳ３～Ｓ５の処理は図１０と同様でよい。

ステップＳ６では、消去部４３は、変化領域１１０と重なっている手書きデータ８と同じグループの手書きでデータを消去する（Ｓ６）。

このように、表示装置２は映像信号に関係がある手書きデータ８をグループ化して、まとめて消去することができる。

＜一定時間ごとのグループ化＞
映像信号の変化に基づくグループ化の他に、一定時間ごとにグループ化してもよい。また、複数の基準でグループ化が可能な場合、ユーザがどの基準でグループ化するかを選択できるとよい。

図２０は、グループ化の基準を受け付けるグループ化設定画面１５０の一例である。グループ化設定画面１５０は、「映像信号の変化」１５１、「一定時間」１５２、「グループ化しない」１５３の各基準に対応づけてラジオボタン１５４を有している。ユーザは、自分がグループ化したい基準を選んでラジオボタン１５４を押下できる。

図２１は、一定時間の経過ごとに手書きデータ８をグループ化して、表示装置２が映像信号の変化に応じて入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図２１の説明に関しては図１９との相違を主に説明する。図２１では、ステップＳ１０１、Ｓ１０２が追加されている。

グループ化部４５は一定時間が経過したか否かを判断する（Ｓ１０１）。一定時間は例えば数十秒から数分などでよい。この時間もユーザが設定できるとよい。

一定時間が経過すると、グループ化部４５は一定時間の間に手書きされた手書きデータ８をグループ化する（Ｓ１０２）。ステップＳ１～Ｓ６の処理は図１９と同様でよい。

このように、表示装置２は一定時間ごとに手書きデータ８をグループ化して、まとめて消去することができる。

＜まとめ＞
以上説明したように、本実施例の表示装置２は、実施例１の効果に加え、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化し、同じグループの手書きデータ８を削除するので、映像信号に関連して手書きされた手書きデータ８をまとめて消去できる。

本実施例では画像を投影することで表示する表示装置２について説明する。

＜＜表示装置２の構成の別の例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図２２は、表示装置２の他の構成例を示す図である。図２２では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００ー１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きデータ８が描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザが手書きしたデータ（座標の集合）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバ４１２又はＵＳＢメモリ５等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置２の構成の別の例２＞＞
図２３は、表示装置２の他の構成例を示す図である。図２３の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書き画像（Ｂ）の画像データを生成し、画像投影装置７００Ａによって手書き画像（Ｂ）をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像（Ｄ）と、電子ペン８２０によって入力された手書き画像（Ｂ）とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置２の構成の別の例３＞＞
図２４は、表示装置２の構成例を示す図である。図２４の例では、表示装置２として、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。なお、図２４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書き画像（Ｂ）の画像データを生成し、ディスプレイ８００Ａに表示させる。

＜＜表示装置２の構成の別の例４＞＞
図２５は、表示装置２の構成例を示す図である。図２５の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書き画像（Ｂ）の画像データを生成し、画像投影装置７００Ａに手書き画像（Ｂ）を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像（Ｄ）と、電子ペン８２０によって入力された手書き画像（Ｂ）とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、電子黒板として使用できる表示装置２を説明したが、表示装置２は画像を表示できればよく、例えばデジタルサイネージなどでもよい。

また、表示する画像は動画でも静止画でもよい。

また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡を手書きデータ８としてプロジェクターが描画（投影）する。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 画像処理システム
２ 表示装置
３ ディスプレイ

特開２０１４‐１９４７４３号公報

Claims (10)

1. 映像出力機器から入力された映像と、画面に対する入力手段の接触位置に基づいて手書きデータとを表示する表示装置であって、
   前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、
   前記映像信号が変化した変化領域を特定する変化領域特定部と、を有し、
   前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、
   前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする表示装置。
2. 前記消去部は、前記変化領域と一部でも重なっている手書きデータを消去し、前記変化領域と全く重なっていない手書きデータを消去しないことを特徴とする請求項１に記載の表示装置。
3. 前記消去部は、前記変化領域と一部でも重なっている手書きデータに加え、前記変化領域と一部でも重なっている手書きデータとの時間的又は空間的な距離が閾値未満又は閾値以下の手書きデータを消去することを特徴とする請求項２に記載の表示装置。
4. 前記消去部が手書きデータを消去する消去範囲を受け付ける消去範囲受付画面を表示し、
   前記消去範囲受付画面で前記変化領域と重なっている手書きデータの選択を受け付けた場合、前記消去部は、前記変化領域と一部でも重なっている手書きデータを消去し、
   前記消去範囲受付画面で画面の全体の選択を受け付けた場合、前記消去部は、画面に表示されている手書きデータの全体を消去することを特徴とする請求項２又は３に記載の表示装置。
5. 複数の手書きデータをグループ化するグループ化部を有し、
   前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項２～４のいずれか１項に記載の表示装置。
6. 前記グループ化部は最後に前記映像信号が変化してから次に前記映像信号が変化するまでに手書きされた手書きデータを同じグループにグループ化し、
   前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項５に記載の表示装置。
7. 前記グループ化部は一定時間が経過するまでに手書きされた手書きデータを同じグループにグループ化し、
   前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項５に記載の表示装置。
8. グループ化する基準として前記映像信号の変化又は一定時間を受け付けるグループ化設定画面を表示し、
   前記グループ化設定画面で前記映像信号の変化を基準とする設定を受け付けた場合、前記グループ化部は、最後に前記映像信号が変化してから次に前記映像信号が変化するまでに手書きされた手書きデータを同じグループにグループ化し、
   前記グループ化設定画面で一定時間を基準とする設定を受け付けた場合、一定時間が経過するまでに手書きされた手書きデータを同じグループにグループ化することを特徴とする請求項５～７のいずれか１項に記載の表示装置。
9. 映像出力機器から入力された映像と、画面に対する入力手段の接触位置に基づいて手書きデータを表示する表示装置が行う表示方法であって、
   前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、消去部が、前記手書きデータを画面から消去する処理と、
   変化領域特定部が、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定する処理と、を有し、
   前記消去する処理において、前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする表示方法。
10. 映像出力機器から入力された映像と、画面に対する入力手段の接触位置に基づいて手書きデータを表示する表示装置を、
    前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、
    前記映像信号が変化した変化領域を特定する変化領域特定部、として機能させ、
    前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、
    前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去するためのプログラム。

Images