JP5672830B2 - 画像表示制御装置、画像表示システム、画像表示方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、任意の画像を表示画面に表示させる画像表示装置に関し、より詳細には、ユーザが描画した画像を表示画面に表示させる画像表示装置、画像表示システム、画像表示方法、プログラムおよび記録媒体に関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形等の描画画像を書き込み可能な電子黒板が利用されている。

このような電子黒板として、現在、スマートテクノロジーズ社のＳｍａｒｔＢｏａｒｄ、日立ソフトウェアエンジニアリング社のＳｔａｒＢｏａｒｄ（登録商標）およびパイオニア社のサイバーカンファレンス（登録商標）等が提供されている。また、特許文献１は、座標入力／検出装置を備えた電子黒板システムを開示する。これらの電子黒板は、黒板の役割をする画面上に背景画像を表示し、その画面上にタッチパネルを用いて描かれた描画画像を重畳して表示する機能を備えている。

しかしながら、上述した電子黒板は、背景画像として表示された映像フレームが変更され、再度同一の背景画像を表示する場合に、その描画画像を重畳して表示することができないという問題がある。また、背景画像を別の画像に完全に切り替えるのではなく段階的にスクロールして移動させた場合に、その描画画像を背景画像に連動させて表示することができない。

本発明は上記の課題を解決するものであり、過去に表示された背景画像の描画画像を再度表示することができ、また、背景画像の移動に連動して描画画像を表示することができる画像表示装置、画像表示システム、画像表示方法、プログラムおよび記録媒体を提供することを目的とする。

本発明の画像表示装置は、表示画面に表示すべき映像フレームと描画画像の構成情報とが関連付けて登録されるデータベースを参照して、映像フレーム提供装置から受信した映像フレームと同一の映像フレームが存在するか否か判断し、同一であると判断した映像フレームに関連付けられた描画画像の構成情報によって構成される描画画像を表示画面に表示させる。これにより、過去に画像表示装置に表示された背景画像が再び表示された場合、その背景画像に関連付けられた描画画像を再度表示することができる。

また、本発明の画像表示装置は、映像フレーム提供装置から受信した連続する２の映像フレームの移動量を算出し、描画画像の構成情報から移動量分移動した描画画像の構成情報を生成し、その描画画像を表示させる。これにより、スクロールにより移動した背景画像に連動して描画画像を表示することができる。

さらに、本発明の画像表示装置は、移動量分移動した描画画像の構成情報から表示画面の表示領域内に表示可能な描画画像の構成情報を抽出し、その描画画像を表示させる。これにより、スクロールにより移動した背景画像に連動して描画画像を表示する場合に、画像表示装置の表示画面領域内に表示可能な描画画像を適切に表示することができる。

本発明によれば、過去に表示された背景画像に描画された描画画像を再度表示することができ、また、背景画像の移動に連動して描画画像を表示することができる画像表示システム、画像表示方法、プログラムおよび記録媒体を提供することができる。

本実施形態の画像表示システムを示した図。 本実施形態の画像表示装置の機能構成を示す図。 本実施形態の画像表示装置が実行する処理を示すフローチャート。 本実施形態の画像表示装置の使用状態を示す図。 本実施形態の画像表示装置が使用するスナップショット履歴情報テーブルを示す図。 別の実施形態の画像表示装置の機能構成を示す図。 別の実施形態の画像表示装置が実行する処理を示すフローチャート。 別の実施形態の画像表示装置が実行する処理を示すフローチャート。 画像表示装置に表示される映像フレームの実施形態を示す図。

以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。

図１は、本実施形態の画像表示システム１００を示す。画像表示システム１００は、画像表示装置１１０と、ユーザＰＣ１２０とを含む。

画像表示装置１１０は、ユーザＰＣ１２０から受信した背景画像である映像フレームを表示するとともに、ユーザが描画した描画画像を表示させる装置である。画像表示装置１１０は、表示部１１２と、操作ボタン１１４，１１６と、映像フレーム入力部１１８とを含んで構成される。

表示部１１２は、背景画像および描画画像を表示する機能手段である。また、表示部１１２は、その表面にタッチパネルが設置されており、タッチパネルを構成する接触位置センサによりユーザの接触位置を検出することができる。

操作ボタン１１４，１１６は、画像表示装置１１０の動作モードの切り替えを指示する機能手段である。なお、画像表示装置１１０の動作モードの切り替えについては、より詳細に後述する。

映像フレーム入力部１１８は、ユーザＰＣ１２０から表示部１１２に表示される背景画像である映像フレームを受信する機能手段である。本実施形態では、映像フレーム入力部としてＶＧＡ（Video Graphics Array）端子により構成されるＶＧＡ入力コネクタを採用することができ、ユーザＰＣ１２０からＶＧＡケーブル等のケーブル１２２を介してＶＧＡ信号を受信し、画像表示装置１１０に含まれるコントローラ（図示せず）にＶＧＡ信号を供給する。他の実施形態では、映像フレーム入力部１１８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１２０から画像データを受信してもよい。

画像表示装置１１０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。また、画像表示装置１１０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像表示装置上に実現する。

本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

ユーザＰＣ１２０は、画像表示装置１１０に背景画像である映像フレームを提供する映像フレーム提供装置である。図１に示す実施形態では、ユーザＰＣとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型のパーソナルコンピュータやＰＤＡ等の画像データを供給可能な情報処置装置を採用することができる。ユーザＰＣ１２０は、背景画像を出力するインタフェースを備えており、その表示画面に表示されている表示画像を画像表示装置１１０に供給する。本実施形態では、ユーザＰＣ１２０は、インタフェースとしてＶＧＡ出力コネクタを備えており、表示画像をＶＧＡ信号として画像表示装置１１０に供給することができる。他の実施形態では、ユーザＰＣ１２０は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。

図２は、本実施形態の画像表示装置２００の機能構成を示す図である。以下、図２を参照して、画像表示装置２００の機能構成について説明する。

画像表示装置２００は、コントローラ２０２と、表示部２５０と、タッチパネル２６０とを含んで構成される。コントローラ２０２は、ユーザＰＣ２７０から受信した背景画像と、タッチパネル２６０を介して入力された描画画像とを処理する機能手段である。コントローラ２０２は、映像フレーム分配部２１０と、表示出力制御部２１２と、表示制御部２１４とを含んで構成される。

映像フレーム分配部２１０は、ユーザＰＣ２７０から受信した表示部２５０に表示すべき映像フレームを取得し、表示出力制御部２１２または映像フレーム取得部２１６に分配する機能手段である。本実施形態では、映像フレーム分配部２１０は、操作ボタンにより指定可能な動作モードに応じて、ＶＧＡ信号等のアナログ信号で構成された映像フレームを分配する。具体的には、画像表示装置２００の動作モードが、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０は、映像フレームを表示出力制御部２１２に提供する。一方、第２の状態である描画画像表示モードが指定されている場合には、映像フレーム分配部２１０は、映像フレームを映像フレーム取得部２１６に提供する。

表示出力制御部２１２は、モード切替制御部２３８の要求に応じて、表示制御部２１４に対して映像フレームを選択的に出力する機能手段である。本実施形態では、表示出力制御部２１２は、２入力１出力のトグル動作スイッチ回路によって構成することができる。表示出力制御部２１２は、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０から受信した映像フレームを表示制御部２１４に提供し、第２の状態である描画画像表示モードが指定されている場合には、表示画像生成部２３６から受信した映像フレームを表示制御部２１４に提供する。

表示制御部２１４は、表示出力制御部２１２から受信した映像フレームを表示部２５０に表示させる機能手段である。表示制御部２１４は、表示出力制御部２１２から受信した映像フレームを構成するアナログ信号を表示部２５０に送付して映像フレームを表示させる。

また、コントローラ２０２は、映像フレーム取得部２１６と、スナップショット情報格納部２１８と、動的表示制御部２２０とを含んで構成される。

映像フレーム取得部２１６は、第２の状態である描画画像表示モードが指定されている場合に、映像フレーム分配部２１０から取得した映像フレームをスナップショット情報格納部２１８に順次格納する機能手段である。映像フレーム取得部２１６は、ＶＧＡ信号等のアナログ信号で構成された映像フレームをデジタルの映像フレームにＡ／Ｄ変換して、スナップショット情報格納部２１８に格納する。また、映像フレーム取得部２１６は、他の機能手段の要求に応じて、スナップショット情報格納部２１８から映像フレームを取得して提供する。

スナップショット情報格納部２１８は、映像フレームおよび描画画像のスナップショット情報である最新の映像フレームおよび最新の描画画像を構成する情報（以下、描画画像構成情報として参照する。）が格納される記憶手段である。スナップショット情報格納部２１８には、ユーザＰＣ２７０から受信した表示部２５０に表示すべき最新の映像フレームが順次保存される。また、スナップショット情報格納部２１８には、後述する描画処理部により、タッチパネルを使用してユーザが描画した最新の描画画像構成情報が格納される。

動的表示制御部２２０は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示されている映像フレームと、ユーザがタッチパネル２６０を使用して表示部２５０に描画した描画画像とを関連付ける機能手段である。動的表示制御部２２０は、映像フレーム管理部２２２と、映像フレーム判別部２２６と、映像フレームバッファメモリ２２４と、スナップショット履歴情報処理部２２８と、スナップショット履歴情報データベース２３０とを含んで構成される。

映像フレーム管理部２２２は、ユーザＰＣ２７０から受信した映像フレームを取得すると共に、動的表示制御部２２０に含まれる他の機能手段の要求に応じて、取得した映像フレームを提供し、または映像フレームバッファメモリ２２４に格納する機能手段である。映像フレーム管理部２２２は、定期的に映像フレーム取得部２１６にｌｏａｄ要求を発行して、スナップショット情報格納部２１８に格納された最新の映像フレームを取得し、ＲＡＭやレジスタ等の記憶装置（図示せず）に一時的に保存する。また、映像フレーム管理部２２２は、スナップショット情報格納部２１８から取得した映像フレームを固有に識別する情報である映像フレーム識別情報を生成する。本実施形態では、１／３０秒毎に映像フレームを取得するが、他の実施形態では、任意の間隔で映像フレームを取得してもよい。

映像フレームバッファメモリ２２４は、映像フレーム管理部２２２がスナップショット情報格納部２１８から取得した映像フレームが格納される記憶手段である。映像フレームバッファメモリ２２４には、スナップショット情報格納部２１８から定期的に取得した映像フレームが順次格納される。

映像フレーム判別部２２６は、映像フレーム取得部２１６から取得した連続する２の映像フレームの同一性を判断する機能手段である。すなわち、映像フレーム判別部２２６は、ユーザＰＣ２７０から新しい映像フレームを受信したか否か判断する。

本実施形態では、映像フレーム判別部２２６は、これらの映像フレームに含まれる１以上の特定の領域を参照領域とし、双方の映像フレームに含まれる参照領域を比較する。比較の結果、参照領域が同一であれば、これらの映像フレームが同一であると判断し、参照領域が相違すれば、これらの映像フレームが相違すると判断する。参照領域を比較する場合、映像フレーム判別部２２６は、双方の映像フレームの参照領域の画素値の合計値を算出し、対応する参照領域の画素値の合計値を比較して、参照領域が同一であるか否か判別することができる。参照領域の画素値の合計値の算出には、参照領域の積分画像を使用することができる。

本実施形態では、下記数式１を使用して、映像フレームの同一性を判別することができる。ここで、Ｒｋは、第１の映像フレームの参照領域ｋの画素値の合計値を示し、Ｓｋは、第２の映像フレームの参照領域ｋの画素値の合計値を示す。また、Ｎは参照領域の数を示す。

上記数式１の条件を満たす場合には、第１の映像フレームと第２の映像フレームは同一であると判断することができる。

また、他の実施形態では、映像フレーム判別部２２６は、双方の映像フレーム全体の画素値の合計値を算出して、これらの映像フレームが同一であるか否か判断することができる。

映像フレーム判別部２２６は、上述した判別処理の結果、連続する２の映像フレームが相違すると判断した場合、スナップショット履歴情報処理部２２８に対して、ユーザＰＣ２７０から新たな映像フレームを受信した旨の通知をする。

スナップショット履歴情報処理部２２８は、ユーザＰＣ２７０から受信した映像フレームと描画画像とを関連付けて、スナップショット履歴情報データベース２３０のスナップショット履歴情報テーブルに登録する機能手段である。スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６がユーザＰＣ２７０から新たな映像フレームを受信したと判断した場合、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、当該描画画像構成情報と映像フレーム管理部２２２が取得した映像フレームとを関連付け、スナップショット履歴情報テーブルに保存する。

スナップショット履歴情報データベース２３０は、スナップショット情報の履歴情報であるスナップショット履歴情報を登録するスナップショット履歴情報テーブルが格納される記憶手段である。スナップショット履歴情報データベース２３０は、スナップショット履歴情報処理部２２８の要求に応じて、そのスナップショット履歴情報テーブルのデータ内容が変更される。なお、スナップショット履歴情報テーブルについては、図５を参照して登録される情報とともに後述する。

さらに、コントローラ２０２は、タッチパネル制御部２３２と、描画処理部２３４と、表示画像生成部２３６と、モード切替制御部２３８とを含む。

タッチパネル制御部２３２は、タッチパネル２６０を制御し、描画画像構成情報を取得する機能手段である。タッチパネル制御部２３２は、第２の状態である描画画像表示モードが指定されている場合に、タッチパネル２６０を駆動し、その接触位置座標を取得して描画処理部２３４に提供する。

本実施形態では、タッチパネル制御部２３２として、タッチパネルを制御可能なデバイスドライバを採用することができる。タッチパネル制御部２３２は、描画画像を構成する線分の太さや色等の描画画像属性情報を指定可能なユーザインタフェースを表示部２５０に表示可能であり、これらの描画画像属性情報を描画画像構成情報として描画処理部２３４に提供することができる。

描画処理部２３４は、第２の状態である描画画像表示モードが指定されている場合に、描画画像構成情報をスナップショット情報格納部２１８に保存する機能手段である。描画処理部２３４は、タッチパネル制御部２３２から描画画像構成情報を受信すると、順次、スナップショット情報格納部２１８に保存する。これにより、スナップショット情報格納部２１８には、最新の描画画像構成情報が格納される。

表示画像生成部２３６は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示すべき映像フレームである表示画像を生成する機能手段である。表示画像生成部２３６は、定期的にスナップショット情報格納部２１８から最新の映像フレームおよび描画画像構成情報を取得し、この描画画像構成情報から描画画像を生成して映像フレームに合成し、アナログ信号に変換して表示画像を生成する。

より詳細には、表示画像生成部２３６は、最新の映像フレームに対し、描画画像構成情報に含まれる各接触位置座標が示す座標位置の画素値を、描画画像属性情報が示す色に応じた画素値に変更することにより描画画像を生成することができる。また、線分の太さが指定されている場合には、接触位置座標が示す座標位置を中心とした所定の範囲を、描画画像属性情報が示す色に応じた画素値に変更して描画画像を生成することができる。当該所定の範囲は、線分の太さに応じて予め設定することができる。表示画像生成部２３６は、このようにして生成された表示画像を表示出力制御部２１２に提供し、当該表示画像が表示部２５０に表示される。

本実施形態では、表示画像生成部２３６は、映像フレーム管理部２２２が映像フレームを取得する間隔と同等またはそれよりも短い間隔で表示画像を生成し、表示部２５０に表示させることが好適である。

モード切替制御部２３８は、画像表示装置２００の動作モードの切替制御を行う機能手段である。モード切替制御部２３８は、ユーザが押下した操作ボタンの種別に応じて、または映像フレーム判別部２２６の命令に応じて動作モードを切り替える。本実施形態では、操作ボタン「Ａ」が押下された場合には、モード切替制御部２３８は、画像表示装置２００の動作モードを第１の状態である映像フレーム表示モードに切り替え、操作ボタン「Ｂ」が押下された場合には、画像表示装置２００の動作モードを第２の状態である描画画像表示モードに切り替える。

具体的には、モード切替制御部２３８は、表示出力制御部２１２に対して、表示すべき映像フレームを受信する入力端子を切り替える旨の命令を送付して、入力端子を切り替えさせる。また、モード切替制御部２３８は、描画処理部２３４に対して、描画処理部２３４の動作を起動（Ｅｎａｂｌｅ）または停止（Ｄｉｓａｂｌｅ）する旨の命令を送付して、描画処理部２３４をＥｎａｂｌｅ状態またはＤｉｓａｂｌｅ状態にする。

図３は、本実施形態の画像表示装置が、第２の状態である描画画像表示モードが指定されたときに実行する処理を示すフローチャートである。図３は、ステップＳ３００で開始し、ステップＳ３０１では、映像フレーム管理部２２２が、ユーザＰＣ２７０から映像フレームを受信したか否か判断する。本実施形態では、映像フレームの受信の有無は、映像フレーム取得部２１６が映像フレームを取得したときに、映像フレームの取得の有無を示す専用レジスタの値を、映像フレームを取得したことを示す値に変更し、映像フレーム取得部２１６が当該専用レジスタの値を参照することにより判断できる。また、映像フレーム取得部２１６は、一定時間映像フレームを取得しない場合には、当該専用レジスタの値を、映像フレームを取得していないことを示す値に変更する。

ステップＳ３０１で映像フレームが入力されていないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、映像フレームが入力されていると判断した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルと、映像フレームの存否を示す割り込みフラグとを初期化する。本実施形態では、割り込みフラグを、映像フレームが存在することを示す値に設定することで初期化する。本実施形態では、初期値として「ｔｒｕｅ」を使用する。

ステップＳ３０２の処理が実行されると、次いで、ステップＳ３０３の処理およびステップＳ３１７の処理が実行される。

ステップＳ３１７では、映像フレーム管理部２２２が、ユーザＰＣ２７０から別の映像フレームを受信したか否か判断し、別の映像フレームを受信した場合には（ｙｅｓ）、ステップＳ３１７の処理を反復させる。一方、別の映像フレームを受信していない場合には（ｎｏ）、処理をステップＳ３１８に分岐させ、割り込みフラグを、映像フレームを受信していないことを示す値に設定し、ステップＳ３１９で処理が終了する。本実施形態では、映像フレームを受信していないことを示す値として「Ｆａｌｓｅ」を使用する。

ステップＳ３０３では、映像フレーム管理部２２２は、映像フレームバッファメモリ２２４と、当該映像フレームバッファメモリ２２４に格納される映像フレームの映像フレーム識別情報が代入される映像フレーム格納変数とを初期化する。ステップＳ３０４では、映像フレーム管理部２２２は、割り込みフラグが初期値「ｔｒｕｅ」であるか否か、すなわち、映像フレームを受信しているか否か判断する。割り込みフラグが初期値「ｔｒｕｅ」でない場合には（ｎｏ）、処理をステップＳ３０８に分岐させる。ステップＳ３０８では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルの内容を、ログやジャーナル等として不揮発性の記憶装置に保存し、ステップＳ３１９で処理が終了する。

一方、割り込みフラグが初期値「ｔｒｕｅ」である場合には（ｙｅｓ）、処理をステップＳ３０５に分岐させ、ステップＳ３０５では、映像フレーム管理部２２２は、所定時間が経過したか否か判断する。所定時間が経過していない場合には（ｎｏ）、ステップＳ３０５の処理を反復させる。一方、所定時間が経過した場合には（ｙｅｓ）、処理をステップＳ３０６に分岐させる。

本実施形態では、ハードウェアタイマまたはソフトウェアタイマーを用いて時間を計測することができる。例えば、ステップＳ３０４で割り込みフラグが初期値「ｔｒｕｅ」であると判断したときにタイマーに時間計測を開始させ、ステップＳ３０５においてタイマーの計測時間を取得することにより、所定時間（例えば、１／３０秒等）が経過したか否か判断することができる。

ステップＳ３０６では、映像フレーム管理部２２２は、映像フレーム取得部２１６を介してスナップショット情報格納部２１８から最新の映像フレームを取得し、その映像フレーム識別情報を映像フレーム格納変数に代入する。ステップＳ３０７では、映像フレーム判別部２２６が、映像フレームバッファメモリ２２４に既に格納されている映像フレームのうち最後に格納された映像フレーム（以下、直前の映像フレームとして参照する。）と、ステップＳ３０６で映像フレーム格納変数に格納された映像フレーム識別情報が示す映像フレームとが同一であるか否か判断する。ステップＳ３０７の判定で映像フレームが同一であると判断した場合には（ｙｅｓ）、処理をステップＳ３０４に分岐させ、一方、映像フレームが相違すると判断した場合には（ｎｏ）、処理をステップＳ３０９に分岐させる。

ステップＳ３０９では、映像フレーム判別部２２６は、映像フレーム管理部２２２を介して、映像フレーム格納変数が示す映像フレーム識別情報と当該映像フレーム識別情報が示す映像フレームとを映像フレームバッファメモリ２２４に追加する。ステップＳ３１０では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルを参照し、映像フレーム格納変数に代入された映像フレーム識別情報が示す最新の映像フレームと同一の映像フレームが存在するか否か判断する。

本実施形態では、スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６が実行する映像フレームの同一性の判別方法を採用することができ、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得し、当該方法を用いて最新の映像フレームと比較をする。また、他の実施形態では、スナップショット履歴情報処理部２２８が、映像フレーム判別部２２６に対して映像フレームの同一性を判別させることもでき、映像フレーム判別部２２６は、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得して、最新の映像フレームと比較をする。

ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ３１１に分岐させる。ステップＳ３１１では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に描画画像構成情報が保存されているか否か判断する。描画画像構成情報が保存されていない場合には（ｎｏ）、処理をステップＳ３１４に分岐させる。一方、描画画像構成情報が保存されている場合には（ｙｅｓ）、処理をステップＳ３１２に分岐させる。

ステップＳ３１２では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、映像フレーム格納変数が示す映像フレーム識別情報と関連付けてスナップショット履歴情報テーブルに登録する。ステップＳ３１３では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に保存されている描画画像構成情報を削除する。

ステップＳ３１４では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第１の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１４の処理が終了すると、ステップＳ３０４の処理が実行される。

一方、ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ３１５に分岐させる。ステップＳ３１５では、スナップショット履歴情報処理部２２８は、スナップショット履歴情報テーブルを参照して、ステップＳ３１０で同一と判断した映像フレームに関連付けられた描画画像構成情報を取得し、スナップショット情報格納部２１８に保存する。これにより、過去に画像表示装置に表示された背景画像が再び表示された場合、その背景画像に関連付けられた描画画像を当該背景画像とともに再度表示することができる。

ステップＳ３１６では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第２の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１６の処理が終了すると、ステップＳ３０４の処理が実行される。

図４は、本実施形態の画像表示装置の使用状態を示す図である。画像表示装置４００の表示部には、ＰＣ４２０に表示された映像フレーム４２２と同一の映像フレーム４１０と、ユーザが描いた描画画像４１２とが重畳して表示されている。本実施形態では、描画画像４１２の接触位置座標は、画像表示装置４２０の表示部の左上点を原点とする座標値として与えられる。

図５は、本実施形態の画像表示装置が使用するスナップショット履歴情報テーブル５００を示す。スナップショット履歴情報テーブル５００は、映像フレーム識別情報５１０と、描画画像構成情報５２０とが関連付けて登録される。

映像フレーム識別情報５１０は、画像表示装置が受信した映像フレームを固有に識別可能な情報である。図５に示す実施形態では、映像フレーム識別情報として、数字列および映像フレームの保存形式を示す文字列の結合を使用しているが、他の実施形態では、他の数字列、文字列および／またはこれらの結合を使用してもよい。

描画画像構成情報５２０は、ユーザがタッチパネルを使用して描いた描画画像を構成する情報である。描画画像構成情報は、ユーザがタッチパネルに接触した位置を示す情報を含んでおり、画像表示装置の表示部上の座標値を使用して表すことができる。図５に示す実施形態では、描画画像構成情報として描画画像を表示すべき座標値のみが示されているが、他の実施形態では、座標値に加えて、描画画像の表示色や線分の太さ等の描画画像の属性情報を映像フレーム識別情報と関連付けて登録してもよい。

図６は、別の実施形態の画像表示装置６００の機能構成を示す図である。以下、図６を参照して、画像表示装置６００の機能構成について説明する。なお、図２に示す画像表示装置２００の機能手段と同一の機能を有する機能手段については、説明を省略する。

図６に示す実施形態では、動的表示制御部６２０は、映像フレーム管理部６２２と、映像フレームバッファメモリ６２４と、映像フレーム判別部６２６と、スナップショット履歴情報処理部６２８と、スナップショット履歴情報データベース６３０と、スクロール量算出部６４０とを含んで構成される。

スクロール量算出部６４０は、ユーザＰＣ６７０から受信した映像フレームがスクロールによって移動したときの移動量であるスクロール量を算出する機能手段である。スクロール量算出部６４０は、映像フレーム管理部６２２が取得した連続する２の映像フレームの水平方向または垂直方向のスクロール量を算出する。具体的には、スクロール量算出部６４０は、
（１）連続する２つの映像フレームに対して、各映像フレームを構成する画素の値を、単一の画素または複数の画素群毎に比較してその差分を算出し、
（２）各映像フレームから差分のない画素を除いた領域を各映像フレームのスクロール領域として特定し、
（３）各映像フレームのスクロール領域について、スクロール量の算出に使用する参照領域を特定し、
（４）各映像フレームの参照領域を比較して参照領域の同一性を判断し、同一と判断した参照領域の水平方向および／または垂直方向の移動量を映像フレームのスクロール量として算出する。

上記（３）の処理における参照領域の特定は、映像フレームの垂直方向のスクロール量を算出する場合には、スクロール領域を垂直方向に分割して複数のサブスクロール領域にし、各サブスクロール領域に対して、その全領域が空白であるサブスクロール領域以外のサブスクロール領域を参照領域とすることにより行われる。一方、映像フレームの水平方向のスクロール量を算出する場合には、スクロール領域を水平方向に分割して複数のサブスクロール領域にし、各サブスクロール領域に対して、その全領域が空白であるサブスクロール領域以外のサブスクロール領域を参照領域とすることにより行われる。

そして、上記（４）の処理において、テンプレートマッチング等のパターン認識方法を用いて、最新の映像フレームの１の参照領域が、直前の映像フレームの参照領域のいずれかと同一であるか否か判断する。同一の参照領域が存在する場合には、これらの参照領域の基準位置の座標値（例えば、参照領域の左上点の座標値等）を比較してスクロール量を算出する。また、最新の映像フレームの他の参照領域について、直前の映像フレームの参照領域のいずれかと同一のものが存在するか否か判断し、同一の参照領域が存在する場合には、これらの参照領域の基準位置の座標値を使用してスクロール量を算出することができる。

本実施形態では、下記数式２を使用して、同一と判断された参照領域の移動量の平均値を、映像フレームのスクロール量として算出することができる。ここで、Ｒｘｋは、第１の映像フレームの参照領域ｋの左上点のｘの座標値を示し、Ｒｙｋは、第１の映像フレームの参照領域ｋの左上点のｙの座標値を示す。また、Ｓｘｋは、第２の映像フレームの参照領域ｋの左上点のｘの座標値を示し、Ｓｙｋは、第２の映像フレームの参照領域ｋの左上点のｙの座標値を示す。さらに、Ｎは、第１の映像フレームおよび第２の映像フレームについて同一であると判別された参照領域の数を示す。

本実施形態では、上記数式２において、最新の映像フレームを第１の映像フレームとし、直前の映像フレームを第２の映像フレームとすることができる。また、他の実施形態では、直前の映像フレームを第１の映像フレームとし、最新の映像フレームを第２の映像フレームとすることができる。

スクロール量算出部６４０は、スクロール量の算出が終了すると、算出したスクロール量をスナップショット履歴情報処理部６２８に通知する。

スナップショット履歴情報処理部６２８は、スクロール量算出部６４０が算出したスクロール量を使用して描画画像構成情報を変更し、スナップショット情報格納部６１８に格納し、または、スナップショット情報格納部６１８に格納された描画画像構成情報を削除する。また、スナップショット履歴情報処理部６２８は、スクロール量に応じて変更した描画画像構成情報と、スナップショット情報格納部６１８に格納された映像フレームとを関連付けて、スナップショット履歴情報処理部６２８のスナップショット履歴情報テーブルに登録する。

図７および図８は、図６に示す画像表示装置が実行する処理を示すフローチャートである。以下、図７および図８を参照して、当該画像表示装置が実行する処理について説明する。なお、図７に示す処理のステップＳ７００〜Ｓ７１１は、図３に示す処理のステップＳ３００〜Ｓ３０８、Ｓ３１７〜Ｓ３１９と同じであるため、説明を省略する。

図８の処理は、図３に示すステップＳ３０９〜Ｓ３１６の処理に対応し、映像フレーム判別部６２６が、連続する２の映像フレームが相違すると判断した場合に実行される。ステップＳ８０１では、スナップショット履歴情報処理部６２８が、スナップショット履歴情報データベース６３０のスナップショット履歴情報テーブルを参照し、ステップＳ７０６で第１の映像フレーム格納変数に代入された映像フレーム識別情報が示す最新の映像フレームと同一の映像フレームが存在するか否か判断する。

ステップＳ８０１の判定で第１の映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ８１７に分岐させる。ステップＳ８１７では、スナップショット履歴情報処理部６２８は、スナップショット履歴情報テーブルを参照し、第１の映像フレーム格納変数が示す映像フレームと同一であると判断した映像フレームの映像フレーム識別情報に関連付けられた描画画像構成情報を取得し、スナップショット情報格納部６１８に保存する。これにより、過去に画像表示装置に表示された背景画像が再び表示された場合、その背景画像に関連付けられた描画画像を当該背景画像とともに再度表示することができる。ステップＳ８１８では、スクロール量取得部６４０が、モード切替制御部６３８に画像表示装置６００の動作モードを第２の状態に切り替えさせる。

一方、ステップＳ８０１の判定で、第１の映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ８０２に分岐させる。ステップＳ８０２では、スナップショット履歴情報処理部６２８が、映像フレームバッファメモリ６２４に最後に格納された映像フレームを示す映像フレーム識別情報を第２の映像フレーム格納変数に代入する。ステップＳ８０３では、スナップショット履歴情報処理部６２８は、映像フレーム管理部６２２を介して、第１の映像フレーム格納変数が示す映像フレーム識別情報と、当該映像フレーム識別情報が示す映像フレームとを映像フレームバッファメモリ６２４に追加する。

ステップＳ８０４では、スクロール量取得部６４０が、第１の映像フレーム格納変数が示す映像フレームと第２の映像フレーム格納変数が示す映像フレームとを使用して、最新の映像フレームのスクロール量（Δｘ，Δｙ）を算出し、スナップショット履歴情報処理部６２８に通知する。ステップＳ８０５では、スナップショット履歴情報処理部６２８が、スナップショット情報格納部６１８に保持されている最新の描画画像構成情報を取得し、ステップＳ８０６で、当該描画画像構成情報の座標値をスクロール量（Δｘ，Δｙ）分加算または減算する。ステップＳ８０７では、スナップショット履歴情報処理部６２８は、スクロール量を加算または減算して変更された描画画像構成情報の全座標値が、画像表示装置６００の表示画面領域に含まれる値であるか否か判断する。

ステップＳ８０７の判定で、変更後の描画画像構成情報の全座標値が表示画面領域に含まれると判断した場合には（ｙｅｓ）、処理をステップＳ８０８に分岐させる。ステップＳ８０８では、スナップショット履歴情報処理部６２８は、変更後の描画画像構成情報と第１の映像フレーム格納変数が示す映像フレームの映像フレーム識別情報とを関連付けて、スナップショット履歴情報テーブルに登録する。ステップＳ８０９では、スナップショット履歴情報処理部６２８は、変更後の描画画像構成情報をスナップショット情報格納部６１８に格納する。これにより、スクロールにより移動した背景画像に連動して描画画像を表示することができる。

ステップＳ８１０では、スナップショット履歴情報処理部６２８が、モード切替制御部６３８に画像表示装置６００の動作モードを第２の状態に切り替えさせ、次いで、図７のステップＳ７０４が実行される。

一方、ステップＳ８０７の判定で変更後の描画画像構成情報の少なくとも一部の座標値が表示画面領域に含まれないと判断した場合には（ｎｏ）、処理をステップＳ８１１に分岐させる。ステップＳ８１１では、スナップショット履歴情報処理部６２８は、変更後の描画画像構成情報の全座標値が表示画面領域外の値であるか否か判断する。本実施形態では、描画画像を構成する１の座標点について、そのｘ座標およびｙ座標の一方が表示画面領域外の値である場合には、当該１の座標点は表示画面領域外に存在すると判断する。

ステップＳ８１１の判定で変更後の描画画像構成情報の全座標値が表示画面領域外でない、すなわち、少なくとも一部の座標値が表示画面領域内の値であると判断した場合には（ｎｏ）、処理をステップＳ８１２に分岐させる。ステップＳ８１２では、スナップショット履歴情報処理部６２８は、当該変更後の描画画像構成情報から表示部６５０の表示領域内に表示可能な描画画像構成情報を抽出し、抽出された描画画像構成情報と第１の映像フレーム格納変数が示す映像フレームの映像フレーム識別情報とを関連付けてスナップショット履歴情報テーブルに登録する。ステップＳ８１３では、スナップショット履歴情報処理部６２８は、ステップＳ８１２で抽出された表示部６５０の表示領域内に表示可能な描画画像構成情報をスナップショット情報格納部６１８に格納する。これにより、スクロールにより移動した背景画像に連動して描画画像を表示する場合に、画像表示装置の表示画面領域内に表示可能な描画画像を適切に表示することができる。

ステップＳ８１４では、スナップショット履歴情報処理部６２８は、モード切替制御部６３８に画像表示装置６００の動作モードを第２の状態に切り替えさせ、次いで、図７のステップＳ７０４が実行される。

一方、ステップＳ８１１の判定で変更後の描画画像構成情報の全座標値が表示画面領域外の値であると判断した場合には（ｙｅｓ）、処理をステップＳ８１５に分岐させる。ステップＳ８１５では、スナップショット履歴情報処理部６２８は、スナップショット情報格納部６１８に保持された描画画像構成情報を削除する。ステップＳ８１６では、スナップショット履歴情報処理部６２８は、モード切替制御部６３８に画像表示装置６００の動作モードを第１の状態に切り替えさせ、次いで、図７のステップＳ７０４が実行される。

図９は、画像表示装置に表示される映像フレームの実施形態を示す図である。映像フレーム９１０は、描画画像が書き込まれる以前の映像フレームを示す。映像フレーム９１０は、映像フレームを提供するユーザＰＣに表示された映像フレームと同一である。映像フレーム９２０は、画像表示装置上で映像フレーム９１０に対して描画画像９２２が書き加えられた状態の映像フレームを示す。映像フレーム９３０は、ユーザＰＣ上で映像フレームを上方へスクロールさせたことに伴って、表示装置上の映像フレーム９２０が上方へ移動した状態の映像フレームを示す。本実施形態では、図９に示すように、映像フレーム９２０の変化に連動して描画画像９２２を移動させることができる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像表示システム、１１０…画像表示装置、１１２…表示部、１１４…操作ボタン、１１６…操作ボタン、１１８…映像フレーム入力部、１２０…ユーザＰＣ、１２２…ケーブル

特開２００８−１７６８０２号公報

Claims (10)

1. 映像フレームを表示する画像表示装置であって、
   前記映像フレームを提供する映像フレーム提供装置から前記映像フレームを受信する受信手段と、
   前記画像表示装置に表示されている前記映像フレームに重畳して描画画像を描画するための前記画像表示装置上の接触位置を検出する検出手段と、
   前記検出手段によって検出された複数の接触位置を、前記描画画像の構成情報として、前記描画画像に重畳される映像フレームと関連付けて登録するデータベースと、
   前記受信手段によって前記映像フレーム提供装置から映像フレームが受信された際に、該受信された映像フレームと同一の映像フレームが前記データベースに存在するか否か判断する判断手段と、
   前記判断手段によって前記同一の映像フレームが前記データベースに存在すると判断された場合、前記同一の映像フレームに関連付けて登録された描画画像の構成情報が示す座標位置に表示すべき描画画像を生成し、該生成された描画画像を重畳した前記受信された映像フレームを前記画像表示装置に表示させる表示制御手段と、
   前記映像フレーム提供装置から前記受信手段が、前記表示制御手段によって表示された前記描画画像が重畳された映像フレームを所定の方向へ移動した状態の映像フレームを受信した際に、２つの映像フレームの移動量を算出する移動量算出手段と、
   前記移動量算出手段によって算出された前記移動量に基づいて、前記画像表示装置に表示された映像フレームに重畳された描画画像の構成情報を変更する構成情報変更手段と
   を備え、
   前記構成情報変更手段によって変更された前記移動量分移動した描画画像の構成情報と、該描画画像が重畳された映像フレームとが関連付けて前記データベースに登録される、画像表示装置。
2. 前記表示制御手段は、前記移動量分移動した描画画像の構成情報のうち前記画像表示装置の表示領域内に表示可能な描画画像を前記画像表示装置に表示させる、請求項１に記載の画像表示装置。
3. 前記画像表示装置は、前記描画画像の属性情報を取得する描画処理手段をさらに備える、請求項１または２に記載の画像表示装置。
4. 前記描画画像の属性情報には、描画画像の表示色および線分の太さが含まれる、請求項３に記載の画像表示装置。
5. 映像フレームを提供する映像フレーム提供装置と、前記映像フレームを表示する画像表示装置とを含む画像表示システムであって、
   前記画像表示装置は、
   前記映像フレームを提供する映像フレーム提供装置から前記映像フレームを受信する受信手段と、
   前記画像表示装置に表示されている前記映像フレームに重畳して描画画像を描画するための前記画像表示装置上の接触位置を検出する検出手段と、
   前記検出手段によって検出された複数の接触位置を、前記描画画像の構成情報として、前記描画画像に重畳される映像フレームと関連付けて登録するデータベースと、
   前記受信手段によって前記映像フレーム提供装置から映像フレームが受信された際に、該受信された映像フレームと同一の映像フレームが前記データベースに存在するか否か判断する判断手段と、
   前記判断手段によって前記同一の映像フレームが前記データベースに存在すると判断された場合、前記同一の映像フレームに関連付けて登録された描画画像の構成情報が示す座標位置に表示すべき描画画像を生成し、該生成された描画画像を重畳した前記受信された映像フレームを前記画像表示装置に表示させる表示制御手段と、
   前記映像フレーム提供装置から前記受信手段が、前記表示制御手段によって表示された前記描画画像が重畳された映像フレームを所定の方向へ移動した状態の映像フレームを受信した際に、２つの映像フレームの移動量を算出する移動量算出手段と、
   前記移動量算出手段によって算出された前記移動量に基づいて、前記表示された映像フレームに重畳された描画画像の構成情報を変更する構成情報変更手段と
   を備え、
   前記構成情報変更手段によって変更された前記移動量分移動した描画画像の構成情報と、該描画画像が重畳された映像フレームとが関連付けて前記データベースに登録される、画像表示システム。
6. 前記表示制御手段は、前記移動量分移動した描画画像の構成情報のうち前記画像表示装置の表示領域内に表示可能な描画画像を前記画像表示装置に表示させる、請求項５に記載の画像表示システム。
7. 映像フレームを表示する画像表示装置が実行する画像表示方法であって、
   前記映像フレームを提供する映像フレーム提供装置から前記映像フレームを受信するステップと、
   ユーザが前記画像表示装置に触れたときに、前記画像表示装置に表示されている前記映像フレームに重畳して描画画像を描画するための前記画像表示装置上の接触位置を検出するステップと、
   検出された複数の接触位置を、前記描画画像の構成情報として、前記描画画像に重畳される映像フレームと関連付けてデータベースに登録するステップと、
   前記映像フレーム提供装置から映像フレームを受信した際に、該受信した映像フレームと同一の映像フレームが前記データベースに存在するか否か判断するステップと、
   前記同一の映像フレームが前記データベースに存在すると判断された場合、前記同一の映像フレームに関連付けて登録された描画画像の構成情報が示す座標位置に表示すべき描画画像を生成するステップと、
   生成された描画画像を前記受信した映像フレームに重畳して表示するステップと、
   前記画像表示装置に表示された前記描画画像が重畳された映像フレームを所定の方向へ移動した状態の映像フレームを前記映像フレーム提供装置から受信した際に、２つの映像フレームの移動量を算出するステップと、
   前記移動量に基づいて、前記画像表示装置に表示された映像フレームに重畳された描画画像の構成情報を変更するステップと、
   変更された前記移動量分移動した描画画像の構成情報と、該描画画像が重畳された映像フレームとを関連付けて前記データベースに登録するステップと
   を含む、画像表示方法。
8. 前記画像表示方法は、前記画像表示装置が、
   前記移動量分移動した描画画像の構成情報のうち前記画像表示装置の表示領域内に表示可能な描画画像の構成情報によって構成される描画画像を表示するステップをさらに含む、請求項７に記載の画像表示方法。
9. 画像表示装置に対して、請求項７または８に記載の画像表示方法を実行させるためのコンピュータ実行可能なプログラム。
10. 請求項９に記載されたプログラムを記録したコンピュータ可読な記録媒体。