JP6988060B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

従来、企業、教育機関又は行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上に、ユーザが文字、数字又は図形等のストローク画像を描画することができる電子黒板が利用されている。

このような電子黒板に係るシステムの一例として、例えば、システム全体の小型化及び一体化を図ると共に、操作性、取扱性及び利便性の向上を図る方法が知られている。具体的には、まず、文字及び画像を表示する表示装置、表示装置の前面にタッチパネル面を配設したタッチ入力装置、印刷装置、タッチ入力装置からの入力に基づいて表示装置による表示並びに印刷装置による印刷を制御する制御装置を電子黒板システムが備える。この電子黒板システムでは、デジタルカメラ、ＤＶＤプレイヤ又はビデオ機器等の情報処理装置を接続する複数の接続端子を用いるため、表示装置が、大画面モニタとして使用できる。ゆえに、この電子黒板システムでは、ユーザは、パーソナルコンピュータを介さず、情報処理装置を接続させたり、情報処理装置に対して操作を行うことができ、操作性、取扱性及び利便性の向上を図ることができる方法が知られている（例えば、特許文献１等）。

しかしながら、電子黒板等である画像表示装置に接続され、かつ、ディスプレイ等の出力装置を有する画像処理装置は、画像表示装置と、画像処理装置が有する出力装置とに、それぞれ異なる画面を表示させる場合等がある。すなわち、複数の画面が存在する場合がある。このような場合において、例えば、画面を示す画像データを生成する、いわゆるキャプチャ等を行う場合、複数の画面がどこで区切れるのかが不明となり、ユーザが望む画像データが生成されないことが問題である。

本発明は、上記課題に鑑み、画面の区切りを判別できる画像処理装置を提供することを目的とする。

上述した課題を解決するために、本発明の一態様における、表示装置に接続される画像処理装置は、
前記画像処理装置のディスプレイに表示される第１画面と、前記画像処理装置のディスプレイの拡張として前記表示装置のディスプレイに表示される第２画面とを表示させる表示部と、
前記第１画面と、前記第２画面とを識別するデータを少なくとも有する識別データを前記表示装置から取得する取得部と、
前記識別データに基づいて、前記第１画面及び前記第２画面の区切りを判別する判別部と、
前記第１画面に表示されるグラフィックユーザインタフェースの第１面積と、前記第２画面に表示される前記グラフィックユーザインタフェースの第２面積とを比較し前記第１画面又は前記第２画面のいずれかを取り込んで、画像データを生成する画像処理部と
を備えることを特徴とする。

画面の区切りを判別できる画像処理装置を提供することができる。

本実施形態の画像処理システムの全体構成図の一例である。 本実施形態の画像処理システムの使用例を示す概念図の一例である。 本実施形態の画像処理システムの別の使用例を示す概念図の一例である。 本実施形態の画像表示装置のハードウェア構成図の一例である。 本実施形態の画像処理装置のハードウェア構成図の一例である。 本実施形態の画像処理装置の機能構成図の一例である。 本実施形態の画像処理装置によって表示される画面を示す図の一例である。 本実施形態の画像処理装置に対して「複製」の設定がされた場合の画面を示す図の一例である。 本実施形態の画像処理装置が表示するアプリケーション画面及びＧＵＩを示す図の一例である。 本実施形態の画像処理装置が表示するＧＵＩを示す図の一例である。 本実施形態の画像処理装置に対して「拡張」の設定がされた場合の画面を示す図の一例である。 本実施形態の画像処理装置による判定処理を示すフローチャートの一例である。 本実施形態の画像処理装置によるＧＵＩが有する所定の箇所を用いる判定処理を示す図の一例である。 本実施形態の画像処理装置によって表示されるＧＵＩが有する所定の箇所を示す図の一例である。 本実施形態の画像処理装置によって表示されるＧＵＩの面積を利用する判定処理を示す図の一例である。 本実施形態の画像処理装置によって表示されるＹ座標値を使用する場合の画面を示す図の一例である。 本実施形態の画像処理装置による判別処理を示すフローチャートの一例である。 本実施形態の画像処理装置によって第１画面と第２画面の区切りが判別された図の一例である。 本実施形態の画像処理装置によって生成される画像データを示す図の一例である。 比較例において生成される画像データを示す図の一例である。 本実施形態の画像処理装置による条件判定処理を示すフローチャートの一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜システム例の概要＞
図１は、本実施形態の画像処理システム１の全体構成図の一例である。なお、図１では、説明を簡略化するために、画像表示装置の例である２台の電子黒板２ａ、２ｂ及びこれに付随する電子ペン４ａ、４ｂ等を示す。したがって、画像処理システム１では、３台以上の電子黒板又は電子ペン等が利用されてもよい。

また、図示するように、画像処理システム１は、複数の電子黒板２ａ、２ｂ、複数の電子ペン４ａ、４ｂ、ＵＳＢメモリ５ａ、５ｂ、画像処理装置の例であるノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）６ａ、６ｂ、テレビ（ビデオ）会議端末７ａ、７ｂ、アカウントサーバ１１及びＰＣ８を有する。さらに、電子黒板２ａ、２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続される。さらにまた、複数の電子黒板２ａ、２ｂには、それぞれディスプレイ３ａ、３ｂが設けられる。

また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。イベントにより、電子ペン４ａ又は手Ｈａなどが指示する位置情報が電子黒板２ａに入力される。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ)、ＨＤＭＩ（登録商標)（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)及びＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続される。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信することでノートＰＣ６ａを制御することができる。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ及びテレビ会議端末７ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

＜用語について＞
以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数の電子黒板２が有するディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像表示装置の一例として、電子黒板を説明するが、これに限るものではなく、画像表示装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、画像処理装置の一例として、ノートＰＣ６を説明するが、これに限るものではなく、画像処理装置の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤ（登録商標）カード等の各種記録メディアであってもよい。

視覚情報とは、人が視認できる情報をいう。なお、情報には意味がなくてもよいが、多くの場合は、例えば、文字、図形、記号又はこれらの組み合わせ等の当人にとっては有効性がある情報をいう。

また、ユーザが電子黒板に手書きしたデータをストローク画像という。

＜画像処理システムの使用例＞
例えば、以下のように、ユーザは、画像処理システムを使用する。

図２は、本実施形態の画像処理システムの使用例を示す概念図の一例である。以下、図示するように、ノートＰＣ６と、電子黒板２とが接続される例で説明する。具体的には、この例では、ノートＰＣ６と、電子黒板２とは、２つのケーブル１０で接続されるとする。例えば、このケーブル１０のうち、一方のケーブルがＵＳＢケーブル１０ＵＳＢであり、他方のケーブルが映像表示用ケーブル１０ＩＭＧである。

ＵＳＢケーブル１０ＵＳＢは、タッチパネル用のケーブルの一例である。すなわち、電子黒板２に対して電子ペン４等を用いてユーザが描画すると、描画の際に電子黒板２がタッチされた位置等を示すデータが、ＵＳＢケーブル１０ＵＳＢによって、電子黒板２からノートＰＣ６に送られる。

映像表示用ケーブル１０ＩＭＧは、ノートＰＣ６が表示する資料等を電子黒板２に表示させるためのデータを送る。すなわち、映像表示用ケーブル１０ＩＭＧは、ノートＰＣ６から電子黒板２に画像データを送る。

したがって、図示する構成では、ノートＰＣ６に表示される画面と、電子黒板２に表示される２つの画面がある。以下、このように、２つの画面がある例で説明する。

電子黒板２を利用するのに、例えば、セキュリティを重視するユーザは、セキュリティポリシが適用された装置でないと使用することができない場合がある。具体的には、通信機能を持つ装置には、特定のセキュリティソフトがインストールされていないと、ユーザは装置を使用できない等である。このような場合において、ユーザは、電子黒板２を利用するのに用いるアプリケーションプログラム（以下単に「アプリケーション」という。）をＰＣにインストールして電子黒板２を利用する。

すなわち、図示する例では、セキュリティポリシが適用された装置がノートＰＣ６であるとすると、ノートＰＣ６にアプリケーションをインストールすることで、ユーザは、電子黒板２が有する各機能を利用できる。例えば、アプリケーションに取り込まれた画像は、アプリケーションによって、電子黒板に表示される。なお、アプリケーションによって提供される各機能を利用するため、ノートＰＣは、アプリケーション画面を表示する。そして、ユーザがアプリケーション画面に対して操作を入力すると、ノートＰＣは、電子黒板に表示させる画面を変更する等ができる。

このようにして、利用できるようになる機能は、例えば、キャプチャの機能である。例えば、ユーザは、真っ白な画面の電子黒板２に対して描画することができる。一方で、ユーザが用意した資料をノートＰＣ６がキャプチャして、電子黒板２に表示させ、表示された資料に対して、ユーザは、電子黒板２上で描画することができる。なお、資料は、例えば、パワーポイント（登録商標）等のプレゼンテーションプログラムで生成されたデータ等である。

また、画像処理システムは、以下に示すような構成で使用されてもよい。

図３は、本実施形態の画像処理システムの別の使用例を示す概念図の一例である。図２と比較すると、図３に示す例では、ノートＰＣ６が、いわゆるデスクトップＰＣである点が異なる。すなわち、画像処理装置は、ノートＰＣに限られず、タブレット等又は図示するようなデスクトップＰＣ等の他の情報処理装置でもよい。

＜ハードウェア構成例＞
電子黒板２は、例えば、以下に示すハードウェア構成である。

図４は、本実施形態の画像表示装置のハードウェア構成図の一例である。図示するように、電子黒板２は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１２、ディスプレイコントローラ１１３、ディスプレイ３、接触センサ１１５及びセンサコントローラ１１４を有する。

ＧＰＵ１１２は、画像処理に係る演算並びに制御を行う演算装置及び制御装置である。

ディスプレイコントローラ１１３は、ＧＰＵ１１２から出力される出力画像をディスプレイ３に表示するための画面表示の制御並びに演算を行う演算装置及び制御装置である。

ディスプレイ３は、ノートＰＣ６等から入力される画像等の表示画像を表示する出力装置である。

センサコントローラ１１４は、接触センサ１１５から入力されるセンサデータから座標値を算出する等の演算を行う演算装置である。

接触センサ１１５は、手Ｈ等が接触したこと及び手Ｈが接触した位置等を検出するセンサである。例えば、接触センサ１１５は、赤外線遮断方式によって、手Ｈが接触した位置を検出して、手Ｈが接触した位置を座標値で示すセンサデータを出力する。具体的には、赤外線遮断方式では、まず、ディスプレイ３のそれぞれの上側両端部に設置される２つの受発光装置が、ディスプレイ３に対して平行に複数の赤外線を照射する。次に、照射された赤外線は、ディスプレイ３の周辺に設けられる反射部材によって反射する。続いて、受光素子が、反射する赤外線を受光する。そして、接触センサ１１５は、手Ｈ等の物体によって遮断された受発光装置が照射した赤外線のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）をセンサコントローラ１１４に出力する。このようにすると、センサコントローラ１１４は、赤外線のＩＤに基づいて、物体が接触した位置を座標値で示すことができる。

バス１２０は、各ハードウェアを電気的に接続する。すなわち、バス１２０は、いわゆるアドレスバス及びデータバス等である。

なお、電子黒板２は、図示するハードウェア構成に限られない。例えば、電子黒板２は、演算装置、制御装置及び記憶装置等の装置を更に有してもよい。

また、ノートＰＣ６は、例えば、以下に示すハードウェア構成である。

図５は、本実施形態の画像処理装置のハードウェア構成図の一例である。

ノートＰＣ６は、主要な構成として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、補助記憶装置１０４、記録媒体読取装置１０５、入力装置１０６、表示装置１０７及び通信装置１０８を含む構成である。以下、簡潔に説明する。

ＣＰＵ１０１は、マイクロプロセッサ及びその周辺回路から構成され、ノートＰＣ６全体を制御する回路である。また、ＲＯＭ１０２は、ＣＰＵ１０１で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業エリア（ワーク領域）として使用するメモリである。

補助記憶装置１０４は、汎用のＯＳ、機器情報及びファイアウォールに関する設定情報を含む各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等が用いられる。なお、上記各種情報は、補助記憶装置１０４以外にも、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ − Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の記録媒体又はその他のメディアを記憶されてもよい。これらの記録媒体に格納された各種情報は、記録媒体読取装置１０５等のドライブ装置を介して、コンピュータが読み取ることが可能である。また、必要に応じて記録媒体を記録媒体読取装置１０５にセットすることで、コンピュータは、各種情報が得られる。

入力装置１０６は、ユーザが各種入力操作を行うための装置である。入力装置１０６は、マウス、キーボード及び表示装置１０７の表示画面上に重畳するように設けられたタッチパネルスイッチ等を含む。また、入力装置１０６は、電子黒板等の外部装置からケーブル等を介してデータを取得するコネクタ等のインタフェースである。表示装置１０７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等から構成される。通信装置１０８は、ネットワークを介して、外部装置との通信を行う装置である。通信装置１０８は、有線ネットワーク及び無線ネットワーク等を含む各種ネットワーク形態に応じた通信をサポートする。

＜機能構成例＞
ノートＰＣ６にアプリケーションがインストールされると、例えば、ノートＰＣ６は、以下のような機能構成となる。

図６は、本実施形態の画像処理装置の機能構成図の一例である。図示するように、ノートＰＣ６は、クライアント部２０及び表示部２９を備える。また、クライアント部２０は、座標検出部２２、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、画像処理部３０及び通信制御部６０を備える。

座標検出部２２は、電子黒板２から入力される座標値を示すデータを取得する。例えば、座標検出部２２は、入力装置１０６（図５）又は通信装置１０８（図５）等によって実現される。

イベント振分部２５は、座標検出部２２によって取得されるデータ、すなわち、座標値に基づいて、電子黒板２に対して入力された操作をストローク描画、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｆｆａｃｅ）操作又はジェスチャ操作のいずれかのイベントに振り分ける。例えば、イベント振分部２５は、ＣＰＵ１０１（図５）等によって実現される。

なお、ストローク描画は、電子黒板２上にストローク画像が表示されている場合において、ユーザが電子黒板２を手Ｈ等で押してから、押した状態で手Ｈを電子黒板２上で移動させ、その後、押した手Ｈを電子黒板２から離すまでのイベントである。例えば、ストローク描画によって、アルファベットの「Ｓ」又は「Ｔ」等の文字が、電子黒板２上に描画される。なお、ストローク描画には、描画した文字等の画像を削除したり、編集したりするイベントが含まれる。

また、ジェスチャ操作は、電子黒板２上にストローク画像が表示されている場合において、ユーザが表示されている画像に対して、手Ｈで変更するイベントである。例えば、ジェスチャ操作によって、表示されている画像の拡大、縮小、表示領域の変更、ページ切り替え又はこれらの組み合わせ等が行われる。

さらに、ＵＩ操作は、電子黒板２上に表示されるＵＩに対する操作である。

操作処理部２６は、イベント振分部２５によって、ＵＩ操作に振り分けられるイベントが発生すると、操作の対象となるＵＩの種類に基づいて処理を行う。なお、ＵＩの種類は、例えば、ボタン、リスト、チェックボックス又はテキストボックス等である。例えば、操作処理部２６は、ＣＰＵ１０１（図５）等によって実現される。

ジェスチャ処理部２７は、イベント振分部２５によって、ジェスチャ操作に振り分けられるイベントが発生すると、ジェスチャの種類に基づいて処理を行う。具体的には、拡大のジェスチャ操作が入力された場合には、ジェスチャ処理部２７は、ジェスチャの対象となる画像を拡大する処理を行う。例えば、ジェスチャ処理部２７は、ＣＰＵ１０１（図５）等によって実現される。

画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページデータ記憶部３００、ファイル処理部４０及び遠隔ライセンス管理テーブル３１０を備える。

画像取得部３１は、外部装置から取得される映像が示す各フレームを画像として取得する。また、画像取得部３１は、画像データをページ処理部３７に出力する。この画像は、映像出力機器（ノートＰＣ６等）からの出力画像である。

ストローク処理部３２は、イベント振分部２５によってストローク描画に振り分けられるイベントが発生すると、ストロークに基づいて、画像を描画したり、削除したり、編集したりする。このストローク描画に基づいて生成される画像が、ストローク画像となる。

ＵＩ画像生成部３３は、電子黒板２にあらかじめ設定されるＵＩ、すなわち、アイコン等の画像を生成する。

背景生成部３４は、ページ処理部３７によってページデータ記憶部３００から読み出されるページデータのうち、メディアデータをページ処理部３７から受信する。そして、背景生成部３４は、受信するメディアデータを表示重畳部３６に出力する。なお、背景は、例えば、無地又はグリッド等である。

レイアウト管理部３５は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３又は背景生成部３４から表示重畳部３６に出力される各画像のレイアウトを管理する。このように、レイアウト管理部３５がレイアウトを管理することによって、レイアウト管理部３５は、出力画像及びストローク画像を、ＵＩ画像及び背景画像のうち、どこに表示させるか又は非表示とするか等を指示することができる。

表示重畳部３６は、レイアウト管理部３５からのレイアウトに基づく指示に従って、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３又は背景生成部３４から出力される各画像のレイアウトを行う。

また、ページ処理部３７は、記憶されるページデータのうち、ストローク配列データ（各ストロークデータ）をストローク処理部３２に出力することで、ストロークを再び編集できる状態にする。さらに、ページ処理部３７は、記憶されるページデータを削除したり、複製したりする。

まず、ページ処理部３７がページデータ記憶部３００にページデータを記憶すると、ディスプレイ上に表示される出力画像のデータは、ページデータ記憶部３００に記憶される。そして、ページデータ記憶部３００から読み出される場合には、出力画像のデータは、背景を示すメディアデータとして読み出される。次に、ページ処理部３７は、ページデータ記憶部３００から読み出されるページデータのうち、ストローク画像を示すストローク配列データをストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出されるページデータのうち、背景を示すメディアデータを背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１から出力される出力画像、ストローク処理部３２から出力されるストローク画像、ＵＩ画像生成部３３から出力されるＵＩ画像及び背景生成部３４から出力される背景画像を、レイアウト管理部３５からのレイアウトに基づく指示に従って重畳する。このようにすると、表示重畳部３６は、各画像が重畳されてもユーザが各画像を見ることができる順に出力画像、ストローク画像、ＵＩ画像及び背景画像を重畳するレイヤとすることができる。

ファイル処理部４０は、ＵＳＢメモリ５等の外部装置から入力されるデータ又はＵＳＢメモリ５等の外部装置に対してデータを出力する処理を行う。すなわち、ファイル処理部４０は、ＵＳＢメモリ５等に対してファイルを入出力する。なお、入力されるファイルは、ページデータ記憶部３００に記憶される。また、出力されるファイルは、ページデータ記憶部３００から読み出される。例えば、ファイル処理部４０は、入力装置１０６（図５）等によって実現される。

遠隔ライセンス管理テーブル３１０は、通信ネットワーク９等を介して接続される外部装置と通信を行うのに用いるライセンスを管理する。例えば、遠隔ライセンス管理テーブル３１０は、補助記憶装置１０４（図５）等によって実現される。

表示部２９は、ディスプレイ等の出力装置又は接続される外部装置に対して、表示重畳部３６が生成する画像を表示する。例えば、表示部２９は、表示装置１０７（図５）等によって実現される。

通信制御部６０は、通信ネットワーク９を介して、外部装置と通信を行い、データを送受信する。例えば、通信制御部６０は、通信装置１０８（図５）等によって実現される。

さらに、クライアント部２０は、取込部２０１、取得部２０２、キャプチャ部２０３及び判別部２０４を備える。

キャプチャ部２０３は、表示部２９が表示する画面を示す画像データを生成する。すなわち、キャプチャ部２０３は、いわゆるデスクトップ画面等をキャプチャして、デスクトップ画面を示す画像データを生成する。例えば、キャプチャ部２０３は、ＣＰＵ１０１（図５）等によって実現される。

また、ノートＰＣ６上に、文書データ又はプレゼンテーションデータ等が表示されている場合には、キャプチャ部２０３は、文書データ又はプレゼンテーションデータ等の資料データに基づいて表示される資料を示す画面をキャプチャして画像データを生成する。つまり、電子黒板２に表示させたい資料がある場合には、まず、ユーザは、ノートＰＣ６上に、資料が表示されるように操作する。そして、ノートＰＣ６上に資料が表示されている状態で、ユーザは、キャプチャ部２０３にキャプチャを実行させる操作を入力する。このようにすると、キャプチャによって、資料を示す画像データが生成される。

取込部２０１は、キャプチャ部２０３が生成する画像データを取り込み、電子黒板２上に、画像データに基づく画像（以下「第１画像」という。）が表示されるようにする。すなわち、取込部２０１は、デスクトップ画面等を示す第１画像を電子黒板２に表示させる。例えば、取込部２０１は、ＣＰＵ１０１（図５）等によって実現される。

具体的には、取込部２０１は、あらかじめノートＰＣ６にインストールされるアプリケーションを介して、電子黒板２に第１画像を表示させる。次に、電子黒板２は、ユーザから、第１画像に対して文字等を書き込む操作を受け付ける。そして、電子黒板２は、書込と、第１画像とを一体にした画像（以下「第２画像」という。）を表示する。つまり、例えば、まず、電子黒板２は、キャプチャされた資料等を示す第１画像を背景として表示する。次に、ユーザによって、資料等に対してコメント等が書き込まれると、電子黒板２は、資料等を示し、かつ、コメント等の書込も示す第２画像を表示することができる。なお、操作によって書き込まれるコメント等を示すストローク画像は、ストローク処理部３２等によって生成される。そして、第２画像は、第１画像に、ストローク画像を重畳させて一体にした画像である。

また、例えば、アプリケーションを介さず、電子黒板２が第１画像を表示する比較例と比較すると、まず、アプリケーションを介すと、電子黒板２は、ユーザの手書きによる書き込み等の操作を受け付けることができる。一方で、比較例では、電子黒板２は、書き込み等の操作を受け付けることができない場合が多い。すなわち、比較例は、第１画像を表示することはできても、第１画像に対する書き込み等の操作を受け付けるのが難しい。

これに対して、取込部２０１等を有する構成とすると、ノートＰＣ６は、書き込み等の操作を受け付けることができ、資料等を示す第１画像に、ユーザによる書込を示すストローク画像を重畳させた第２画像を表示することができる効果を奏する。

取得部２０２は、第１画面と、第２画面とを識別するデータ（以下「識別データ」という。）を取得する。なお、取得部２０２は、例えば、入力装置１０６（図５）等によって実現される。また、識別データは、例えば、ＥＤＩＤ（Ｅｘｔｅｎｄｅｄ ｄｉｓｐｌａｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｄａｔａ）等である。まず、以下に、第１画面及び第２画面の一例を説明する。

＜画面例及び設定例＞
以下、ノートＰＣのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）がＷｉｎｄｏｗｓ（登録商標）である例で説明する。なお、実施形態は、ＯＳがＷｉｎｄｏｗｓ（登録商標）である場合に限られない。すなわち、ＯＳは、Ｗｉｎｄｏｗｓ（登録商標）以外の種類でもよい。

以下の説明は、ノートＰＣに対して複数のディスプレイが接続される場合であるとする。例えば、図２に示すように、ノートＰＣ６に対して電子黒板２が接続される場合である。すなわち、ノートＰＣ６は、ノートＰＣ６が有する表示装置１０７（図５）と、電子黒板２が有するディスプレイ３（図４）とを認識し、どちらの画面に対しても画面を表示する。そして、ノートＰＣには、各ディスプレイに同一の画面をそれぞれ表示する（以下「複製」という。）か又は各ディスプレイに異なる画面をそれぞれ表示する（以下「拡張」という。）かが設定できる。具体的には、ＯＳがＷｉｎｄｏｗｓ７（登録商標）である場合には、「画面の解像度」の設定における「複数のディスプレイ」のプルダウンメニューにある「表示画面を拡張する」及び「表示画面を複製する」をユーザが選んで設定ことができる。例えば、設定と、各ディスプレイに表示される画面は、以下のような関係となる。

図７は、本実施形態の画像処理装置によって表示される画面を示す図の一例である。図示する表において、上段（図内では「複製」と示す段である。）は、ノートＰＣに「複製」の設定がされる場合に、各ディスプレイに表示される画面の例を示す。一方で、図示する表において、下段（図内では「拡張」と示す段である。）は、ノートＰＣに「拡張」の設定がされる場合に、各ディスプレイに表示される画面の例を示す。

以下、ノートＰＣが有するディスプレイに表示される画面を「第１画面」という。一方で、図２のように、ノートＰＣに対して電子黒板２が接続される場合の例において、電子黒板２が有するディスプレイ３に表示される画面を「第２画面」という。

図２で説明するように、ノートＰＣにアプリケーションがインストールされると、ノートＰＣは、例えば、図７に示すようなアプリケーション画面ＡＰＰを表示することができる。このアプリケーション画面ＡＰＰに対してユーザが操作を入力すると、ユーザは、ノートＰＣに対して操作を入力することで、電子黒板２を利用することができる。

図７に戻り、図示するように、設定によって、ノートＰＣは、第１画面と、第２画面とに表示される画面を同一とするか異なる画面とするかを変えることができる。具体的には、図示する例において「複製」の設定では、ノートＰＣは、第１画面及び第２画面にそれぞれアプリケーション画面ＡＰＰをそれぞれ表示する。この設定では、第１画面と、第２画面とに表示される画面が同一とされるため、例えば、第１画面が表示するアプリケーション画面ＡＰＰが操作を入力すると、同様の操作が行われた画面が、第２画面にも表示される。

一方で、図示する例において「拡張」の設定では、ノートＰＣは、第１画面には、デスクトップ画面ＤＳＫを表示し、第２画面には、アプリケーション画面ＡＰＰをそれぞれ表示する。以下、図示するような「拡張」の設定が、ノートＰＣに対してされた場合を例に説明する。

この例では、第１画面には、デスクトップ画面ＤＳＫが表示され、ユーザは、デスクトップ画面ＤＳＫに対して操作を入力することで、インストールされているプログラム等を用いて、文書を作成したり、画像を編集したりする等の操作を行うことができる。なお、第１画面に表示される画面が、電子黒板２が有するディスプレイ３には表示されない。そのため、ノートＰＣに接するユーザは、第１画面で作業中の画面又は秘密のデータ等が表示されている画面等をノートＰＣに接するユーザ以外の者に見られることなく操作を行うことができる。

一方で、第２画面に表示される画面は、ノートＰＣに接するユーザも、電子黒板２を見る会議の参加者等にもアプリケーション画面ＡＰＰによって表示される。そのため、第２画面にアプリケーション画面ＡＰＰによって情報を表示して情報共有等を行うことができる。

また、「拡張」の設定では、ツールバー等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、以下「グラフィックユーザインタフェース」という場合もある。）は、ユーザの操作に基づいて、第１画面と、第２画面との間を移動することができる。すなわち、「拡張」の設定では、ユーザは、第１画面と、第２画面とがつながった１つの画面のように操作することができる。例えば、ユーザは、デスクトップ画面ＤＳＫ側で表示されるアイコンをいわゆるドラッグアンドドロップ等の操作によって、アプリケーション画面ＡＰＰ側に移動させることができる。

そして、ノートＰＣを操作するユーザが用意した資料をキャプチャし、キャプチャした画像を電子黒板に表示させる場合がある。以下、「複製」の設定がされた場合と、「拡張」の設定がされた場合のそれぞれの例を説明する。

図８は、本実施形態の画像処理装置に対して「複製」の設定がされた場合の画面を示す図の一例である。図は、ノートＰＣに対して「複製」の設定がされた場合に、各画面に表示される画面の例を示す。

以下、ユーザがノートＰＣから電子黒板を利用する、すなわち、アプリケーション画面ＡＰＰが表示される場合を「ホワイトボードモード」という。一方で、ユーザがノートＰＣにおいて電子黒板を利用する以外の操作を行う、すなわち、アプリケーション画面ＡＰＰが最小化され、かつ、デスクトップ画面ＤＳＫが表示される場合を「デスクトップモード」という。

また、ノートＰＣは、キャプチャによって、電子黒板に表示される画像（以下「表示画像」という。）を生成する。そして、表示画像を生成する指示、すなわち、キャプチャを実行させる操作をユーザが入力すると、ノートＰＣは、キャプチャを行う。そのため、ノートＰＣは、この指示をユーザに入力させるＧＵＩを表示する。例えば、このＧＵＩは、以下に示すようなツールバーＣＡＰである。以下、ホワイトボードモードにおいて表示されるツールバーＣＡＰの例を説明する。

図９は、本実施形態の画像処理装置が表示するアプリケーション画面及びＧＵＩを示す図の一例である。図示する例は、ホワイトボードモードでは、アプリケーション画面ＡＰＰ上に、ツールバーＣＡＰがノートＰＣによって表示される例である。なお、ツールバーＣＡＰは、ユーザによるドラッグアンドドロップ等の操作によって、表示する位置を変更することができる。また、ツールバーＣＡＰは、アプリケーション画面ＡＰＰ上に表示される、いわゆる、最前面に表示されるのが望ましい。以下、ツールバーＣＡＰの詳細を説明する。

図１０は、本実施形態の画像処理装置が表示するＧＵＩを示す図の一例である。すなわち、図１０は、図９におけるツールバーＣＡＰを大きくして示す図である。図示するように、ツールバーＣＡＰは、例えば、最小化ボタンＢＭＩＮ、終了ボタンＢＥＮＤ、キャプチャボタンＢＣＡＰ、ホワイトボードボタンＢＷＢＭ及びデスクトップモードボタンＢＤＴＭを有する。

以下、ツールバーＣＡＰに対してユーザが操作を行うと、下記の処理が行われる例で説明する。

（１）デスクトップ画面ＤＳＫ（図７等）に表示される画面をキャプチャして表示画面を生成し、生成された表示画面がアプリケーション画面ＡＰＰに取り込まれる処理
（２）ホワイトボードモードと、デスクトップモードとを切り替える処理
（３）ツールバーＣＡＰを最小化させる（タスクバーに入れる）処理
（４）アプリケーションを終了させる処理
ツールバーＣＡＰが有するボタンが押下されると、ノートＰＣは、上記（１）乃至（４）の処理を以下のようにして実行する。

最小化ボタンＢＭＩＮが押下されると、ノートＰＣは、ツールバーＣＡＰと、アプリケーション画面ＡＰＰとを最小化させる。すなわち、ノートＰＣは、ツールバーＣＡＰと、アプリケーション画面ＡＰＰとをいわゆるタスクバーに収納する。このようにして、最小化ボタンＢＭＩＮが押下されると、ノートＰＣは、上記（３）の処理を行う。

終了ボタンＢＥＮＤが押下されると、ノートＰＣは、アプリケーションを終了させる。このようにして、終了ボタンＢＥＮＤが押下されると、ノートＰＣは、上記（４）の処理を行う。

ホワイトボードボタンＢＷＢＭ又はデスクトップモードボタンＢＤＴＭのどちらかが押下されると、ノートＰＣは、ホワイトボードモードと、デスクトップモードとを切り替える。具体的には、ホワイトボードモードにおいて、デスクトップモードボタンＢＤＴＭが押下されると、ノートＰＣは、ホワイトボードモードからデスクトップモードに切り替える。一方で、デスクトップモードにおいて、ホワイトボードボタンＢＷＢＭが押下されると、ノートＰＣは、デスクトップモードからホワイトボードモードに切り替える。このようにして、ホワイトボードボタンＢＷＢＭ又はデスクトップモードボタンＢＤＴＭが押下されると、ノートＰＣは、上記（２）の処理を行う。

キャプチャボタンＢＣＡＰが押下されると、ノートＰＣは、第１画面又は第２画面（図７及び図８）のいずれか一方の画面を選択して、選択された画面を示す表示画像を生成する。すなわち、キャプチャボタンＢＣＡＰが押下されると、ノートＰＣは、上記（１）の処理を行う。なお、図８に示すように、「複製」である場合には、第１画面と、第２画面とは、ホワイトボードモードであっても、デスクトップモードであっても同一の画面であるため、どちらの画面が選択されても、表示画像は、同様の画像となる。

一方で、以下のように、「拡張」の設定がされる場合がある。

図１１は、本実施形態の画像処理装置に対して「拡張」の設定がされた場合の画面を示す図の一例である。図は、ノートＰＣに対して「拡張」の設定がされた場合に、各画面に表示される画面の例を示す。図７で説明するように、「拡張」の設定がされると、ノートＰＣは、第１画面と、第２画面とでそれぞれ異なる画面を表示する。図示するように、ホワイトボードモードでは、例えば、第１画面に、デスクトップ画面ＤＳＫが表示され、第２画面に、アプリケーション画面ＡＰＰが表示される。

一方で、図示するように、デスクトップモードでは、例えば、第１画面にも、第２画面にもデスクトップ画面が表示される。ただし、第１画面に表示されるデスクトップ画面（以下「第１デスクトップ画面ＤＳＫ１」という。）と、第２画面に表示されるデスクトップ画面（以下「第２デスクトップ画面ＤＳＫ２」という。）とは、異なる画面である。すなわち、「拡張」の設定がされ、かつ、デスクトップモードであると、ユーザの操作に基づいて、ノートＰＣは、第１デスクトップ画面ＤＳＫ１と、第２デスクトップ画面ＤＳＫ２とに異なる資料をノートＰＣにそれぞれ表示させること等ができる。特に、「拡張」の設定がされ、かつ、デスクトップモードでは、ユーザは、キャプチャの対象を第１デスクトップ画面ＤＳＫ１又は第２デスクトップ画面ＤＳＫ２から選択したい場合が多い。

そこで、ノートＰＣは、第１画面又は第２画面のうち、どちらの画面を選択する、すなわち、キャプチャの対象とするかを、例えば、ツールバーＣＡＰ（図１０）が表示される位置等で判定してもよい。具体的には、ノートＰＣは、以下のような処理で判定を行う。

図１２は、本実施形態の画像処理装置による判定処理を示すフローチャートの一例である。図示する判定処理は、例えば、ツールバーＣＡＰ（図１０）がドラッグアンドドロップの操作によって移動されたり、設定又はモードが切り替えられたりすると、ノートＰＣによって行われる処理である。

ステップＳ０１では、ノートＰＣは、設定が「複製」であるか「拡張」であるかを判断する。例えば、ノートＰＣは、ユーザがあらかじめＯＳ等に設定するディスプレイに係る設定値等を取得して、取得される設定値等から設定が「複製」であるか「拡張」であるかを判断する。次に、設定が「複製」であると、ノートＰＣは、ステップＳ０２に進む。一方で、設定が「拡張」であると、ノートＰＣは、ステップＳ０５に進む。

ステップＳ０２では、ノートＰＣは、「ホワイトボードモード」であるか「デスクトップモード」であるかを判断する。例えば、図１０に示すホワイトボードボタンＢＷＢＭ又はデスクトップモードボタンＢＤＴＭのうち、直近に押下されたボタンがどちらであるか又はＯＳ等の設定等に基づいて、ノートＰＣは、判断する。次に、「デスクトップモード」であると判断されると、ノートＰＣは、ステップＳ０３に進む。一方で、「ホワイトボードモード」であると判断されると、ノートＰＣは、ステップＳ０４に進む。

ステップＳ０３では、ノートＰＣは、第１画面に基づいて表示画像を生成する。すなわち、「複製」で設定であり、かつ、「デスクトップモード」である場合に、キャプチャボタンＢＣＡＰ（図１０）が押下されると、ノートＰＣは、デスクトップ画面ＤＳＫ（図８）をキャプチャする。より具体的には、ノートＰＣは、デスクトップ画面ＤＳＫを示す画像をＲＡＭ１０３（図５）に記憶する。

ステップＳ０４では、ノートＰＣは、キャプチャを制限する。例えば、ノートＰＣは、キャプチャボタンＢＣＡＰをグレーアウトさせたりして使用できなくしたり、キャプチャボタンＢＣＡＰが押下されてもキャプチャが行われないようにする。

設定が「複製」であっても、「拡張」であっても、「ホワイトボードモード」では、ユーザがキャプチャしたいのは、デスクトップ画面ＤＳＫであることが多い。それは、アプリケーション画面ＡＰＰ（図７及び図８）に表示されている画面は、既に電子黒板に表示されている画面であるため、再度キャプチャし、電子黒板に表示させる作業を行うことは、少ないためである。

ステップＳ０５では、ノートＰＣは、ツールバーの座標値を取得する。例えば、ノートＰＣは、ツールバーＣＡＰが有する所定の箇所が、どこに表示されているかを取得する。

図１３は、本実施形態の画像処理装置によるＧＵＩが有する所定の箇所を用いる判定処理を示す図の一例である。以下、図示するような第１画面及び第２画面の例で説明する。

まず、この例では、第１画面が、「１２８０×８００」の解像度（いわゆるＷＸＧＡ）に設定されるとする。一方で、この例では、第２画面が、「１９２０×１０８０」の解像度（いわゆるＦＨＤ）に設定されるとする。そして、図示するように、第１画面の左上が原点（０、０）に設定されるとする。また、この例では、「拡張」の設定において、第１画面及び第２画面は、図示するように、第１画面の右端と第２画面の左端とがつながっているように設定されるとする。さらに、この例では、ユーザは、ツールバーＣＡＰをドラッグする操作によって、ツールバーＣＡＰを第１画面内、第２画面内及び第１画面と第２画面の間で移動させることができる。なお、第１画面及び第２画面の配置は、図示する配置に限られず、例えば第１画面と第２画面とは逆に配置される等でもよい。

ステップＳ０５（図１２）では、ノートＰＣは、ツールバーＣＡＰが有する所定の箇所の図１３上における座標値を取得する。所定の箇所は、あらかじめ設定される。例えば、所定の箇所は、左上ＵＬの点等である。なお、所定の箇所は、左上ＵＬの点以外でもよい。例えば、所定の箇所は、以下のような点でもよい。

図１４は、本実施形態の画像処理装置によって表示されるＧＵＩが有する所定の箇所を示す図の一例である。例えば、取得される座標値の対象となる所定の箇所は、左上ＵＬ以外の四隅の点等である。具体的には、図示するように、所定の箇所は、左下ＵＤの点、右上ＲＬの点又は右下ＲＤの点等である。他にも、所定の箇所は、図心ＩＣの点又はユーザが設定する点等でもよい。

ステップＳ０６では、ノートＰＣは、各画面に係るデータを取得する。例えば、図１３に示す例では、ノートＰＣは、第１画面及び第２画面の解像度（領域情報）等を示すデータを取得する。これにより、図１３に示す例では、ノートＰＣは、Ｘ軸の座標値が「０」乃至「１２７９」、すなわち、Ｘ軸の座標値が「１２７９」以下の領域は、第１画面であると判定できる。一方で、図１３に示す例では、ノートＰＣは、Ｘ軸の座標値が「１２８０」乃至「３２００」、すなわち、Ｘ軸の座標値が「１２８０」以上の領域は、第２画面であると判定できる。

ステップＳ０７では、ノートＰＣは、キャプチャの対象が第１画面か第２画面かを判断する。例えば、ノートＰＣは、ステップＳ０５で取得される座標値が、ステップＳ０６で取得されるデータに基づいて、どちらの画面にあるかで判断する。

具体的には、図１３に示す例では、ノートＰＣは、ステップＳ０５で、左上ＵＬの点の座標値（１１５８、３５６）を取得する。次に、ノートＰＣは、ステップＳ０６で取得されるデータに基づいて、左上ＵＬの点のＸ座標の座標値が「１２７９」以下であるか「１２８０」以上であるか判断する。この場合には、「１１５８」の座標値は、「１２７９」以下であるため、第１画面にあると判断される。すなわち、左上ＵＬの点が、図１３に示す左側の領域にあると、ノートＰＣは、第１画面にあると判断する（ステップＳ０７で「第１画面」）。一方で、左上ＵＬの点が、図１３に示す右側の領域にあると、ノートＰＣは、第２画面にあると判断する（ステップＳ０７で「第２画面」）。

なお、キャプチャの対象が第１画面か第２画面かを判断する方法は、所定の箇所の座標値に限られない。例えば、判断する方法は、以下のようなツールバーＣＡＰの面積を利用する方法でもよい。

図１５は、本実施形態の画像処理装置によって表示されるＧＵＩの面積を利用する判定処理を示す図の一例である。以下、図１３に示す例において、ツールバーＣＡＰが表示される面積のうち、第１画面に表示されるツールバーＣＡＰの面積を「第１面積ＡＲ１」という。一方で、ツールバーＣＡＰが表示される面積のうち、第２画面に表示されるツールバーＣＡＰの面積を「第２面積ＡＲ２」という。例えば、第１面積ＡＲ１及び第２面積ＡＲ２は、図１５のように示せる。図示する例では、第１面積ＡＲ１と、第２面積ＡＲ２とを比較すると、第２面積ＡＲ２の方が、第１面積ＡＲ１の方より広い。そのため、ノートＰＣは、第２画面にあると判断する（図１２に示すステップＳ０７で「第２画面」）。

また、判断する方法は、ユーザにどちらをキャプチャ対象とするか入力させる方法でもよい。例えば、キャプチャの際に、ノートＰＣは、図１３に示すいずれかの領域をクリックするようにユーザにメッセージを表示する。次に、この表示に従って、ユーザが、図１３に示すいずれかの位置をクリックする操作を入力する。続いて、ステップＳ０５（図１２）では、ノートＰＣは、クリックされた点の座標値を取得する。そして、ステップＳ０７（図１２）では、ノートＰＣは、クリックされた点の座標値がステップＳ０６（図１２）で取得されるデータに基づいて、どちらの画面にあるかで判断してもよい。すなわち、ユーザがキャプチャ対象に希望する方の画面の領域をクリックし、クリックされた点の座標値に基づいて、キャプチャ対象が、ノートＰＣによって判断されてもよい。

他にも、ユーザにどちらをキャプチャ対象とするか入力させる方法は、例えば、キャプチャの際に、キャプチャ対象を選択するボタンを表示し、ユーザに入力させる方法でもよい。すなわち、キャプチャの際に、ノートＰＣは、「キャプチャ対象を第１画面とする」ボタンと、「キャプチャ対象を第２画面とする」ボタンとをそれぞれ表示する。そして、ノートＰＣは、ボタンが押下された方の画面をキャプチャ対象と判断してもよい。

さらに、判断する方法は、Ｘ座標値を使用する方法に限られない。例えば、設定等によって、以下のように第１画面及び第２画面がつながる場合がある。

図１６は、本実施形態の画像処理装置によって表示されるＹ座標値を使用する場合の画面を示す図の一例である。図示するように、第１画面及び第２画面は、図における縦方向、すなわち、Ｙ軸方向につながるような設定がされる場合がある。このような場合等では、ステップＳ０７（図１２）では、ノートＰＣは、ステップＳ０５（図１２）で取得される座標値のうち、Ｙ座標値を用いて判断する。

図１２に戻り、ステップＳ０８では、ノートＰＣは、「ホワイトボードモード」であるか「デスクトップモード」であるかを判断する。例えば、ステップＳ０８では、ノートＰＣは、ステップＳ０２と同様の判断を行う。次に、「デスクトップモード」であると判断されると、ノートＰＣは、ステップＳ０９に進む。一方で、「ホワイトボードモード」であると判断されると、ノートＰＣは、ステップＳ０４に進む。

ステップＳ０９では、ノートＰＣは、第２画面に基づいて表示画像を生成する。すなわち、「拡張」で設定であり、かつ、「デスクトップモード」である場合に、キャプチャボタンＢＣＡＰ（図１０）が押下されると、ノートＰＣは、ステップＳ０７で判断された方のデスクトップ画面をキャプチャする。具体的には、ステップＳ０９では、ノートＰＣは、第２デスクトップ画面ＤＳＫ２（図１１）をキャプチャする、すなわち、第２デスクトップ画面ＤＳＫ２を示す画像をＲＡＭ１０３（図５）に記憶する。

ステップＳ１０では、ノートＰＣは、第１画面に基づいて表示画像を生成する。すなわち、「拡張」で設定であり、かつ、「デスクトップモード」である場合に、キャプチャボタンＢＣＡＰ（図１０）が押下されると、ノートＰＣは、ステップＳ０７で判断された方のデスクトップ画面をキャプチャする。より具体的には、ステップＳ１０では、ノートＰＣは、第１デスクトップ画面ＤＳＫ１（図１１）をキャプチャする。例えば、ステップＳ１０は、ステップＳ０３と同様の処理を行う。

このように判定処理が行われると、ユーザは、ツールバーＣＡＰを移動させて、キャプチャしたい画面を選択することができる。なお、ユーザが、キャプチャ対象と判断される画面の方に資料等を移動させる操作を入力しても同様である。特に、図１１に示す下段のように、「拡張」で設定であり、かつ、「デスクトップモード」である場合には、ユーザは、キャプチャ対象を第１デスクトップ画面ＤＳＫ１（図１１）とするか第２デスクトップ画面ＤＳＫ２（図１１）とするか選択したい場合が多い。そこで、図１３に示す例等では、ユーザは、キャプチャ対象とした画面の領域に左上ＵＬの点があるようにツールバーＣＡＰを移動させる操作を入力する。次に、ノートＰＣが、図１２に示す判定処理を行うと、ノートＰＣは、ユーザがキャプチャしたい画面、すなわち、ユーザが表示画像としたい画面がどちらであるか判定することができる。

したがって、ノートＰＣが複数の画面を表示する場合であっても、ノートＰＣは、ユーザが表示画像としたい画面をキャプチャして、表示画像を生成することができる。このようにしてキャプチャされ、生成された表示画像が画像表示装置に取り込まれると、ユーザによってノートＰＣ上で用意された資料等が、画像表示装置によって、表示させることができる。

また、上述のように、第１画面又は第２画面をキャプチャ対象とするのに、ノートＰＣは、第１画面及び第２画面の区切りを判別する。なお、図６に示す構成では、判別部２０４が、取得部２０２によって取得される識別データに基づいて、判別を行う。また、判別部２０４は、例えば、ＣＰＵ１０１（図５）等によって実現される。

例えば、判別部２０４は、電子黒板がノートＰＣに接続された場合、画面をキャプチャするアプリケーションが起動した場合、画面をキャプチャする処理が行われる場合又は画面をキャプチャする処理が行われる前等に、以下のような判別処理によって判別を行う。

図１７は、本実施形態の画像処理装置による判別処理を示すフローチャートの一例である。

ステップＳ１０１では、ノートＰＣは、識別データを取得する。以下、識別データがＥＤＩＤである場合を例に説明する。なお、識別データは、第１画面及び第２画面を識別する以外のデータを含んでもよい。例えば、識別データには、モニタ項目等の接続される画像表示装置の型番を示すデータが含まれてもよい。また、識別データには、接続される画像表示装置のメーカを示すデータが含まれてもよい。他にも、識別データには、画像表示装置の解像度を示すデータが含まれてもよい。

このように、識別データに基づいて画像表示装置の型番又はメーカ等が判断できると、ノートＰＣは、特定のメーカ又は型番の画像表示装置が接続されている場合に、接続されている画像表示装置に対応するアプリケーションを起動させることができる効果を奏する。また、ＥＤＩＤ等の識別データが取得できると、ノートＰＣは、画像表示装置が接続されたことを認識できる。

ステップＳ１０２では、ノートＰＣは、識別データに基づいて、第１画面及び第２画面の区切りを判別する。例えば、判別が行われると、以下のようになる。

図１８は、本実施形態の画像処理装置によって第１画面と第２画面の区切りが判別された図の一例である。例えば、図１３と同様の設定である場合の例で説明する。図示するように、識別データが取得できると、ノートＰＣは、第１画面と、第２画面との区切りを示す境界ＳＬの位置が分かる。したがって、境界ＳＬの位置に基づいて、第１画面となる領域と、第２画面となる領域とを区切ることができる。つまり、この例では、ノートＰＣは、識別データに基づいて、第１画面及び第２画面の区切りの例である境界ＳＬを特定できる。

この例では、境界ＳＬより左側の領域が第１画面であると判別され、一方で、境界より右側の領域が第２画面であると判別される。具体的には、ノートＰＣは、Ｘ座標値が「０乃至１２７９」であると、第１画面と判別し、Ｘ座標値が「１２８０乃至３２００」であると、第２画面であると判別する。このようにすると、ノートＰＣは、図示するように、複数の画面がつながっている場合等であっても、第１画面と第２画面とを区切って扱うことができる。

図１７に戻り、ステップＳ１０３では、ノートＰＣは、設定が「複製」であるか「拡張」であるかを判断する。例えば、ノートＰＣは、図１２に示すステップＳ０１と同様の処理によって判断する。次に、設定が「複製」であると、ノートＰＣは、ステップＳ１０５に進む。一方で、設定が「拡張」であると、ノートＰＣは、ステップＳ１０４に進む。

ステップＳ１０４では、ノートＰＣは、キャプチャ対象等を特定する。以下、図１７に示す処理の後段で画面のキャプチャが行われる場合を例に説明する。この場合には、キャプチャ対象は、例えば、図１３に示す判定処理等によって特定される。すなわち、キャプチャに係る操作を入力するツールバーが有する所定の箇所等に基づいて、ノートＰＣは、判定処理が行われ、キャプチャ対象となる画面が第１画面であるか第２画面であるかを特定する。

他にも、ノートＰＣは、あらかじめキャプチャ対象とする画面が設定されてもよい。例えば、図１８に示すような画面の設定であって、ユーザがキャプチャしたい画面は、第１画面であると設定されてもよい。このようにすると、図１８のように、第１画面及び第２画面がつながっている状態であっても、キャプチャが行われると、ノートＰＣが、第１画面となる部分を切り出して画像データを生成することができる効果を奏する。なお、設定は、キャプチャが行われると、第２画面となる部分が切り出されて画像データが生成される設定でもよい。

ステップＳ１０５では、ノートＰＣは、表示している画面がＰＣ画面であるか否かを判断する。例えば、ノートＰＣは、図８において上段に示す「ホワイトボードモード」であるか「デスクトップモード」であるかによって判断する。この例では、「デスクトップモード」であると、ノートＰＣは、ＰＣ画面であると判断する（ステップＳ１０５でＹＥＳ）。次に、表示している画面がＰＣ画面であると判断すると、ノートＰＣは、処理を終了する。一方で、表示している画面がＰＣ画面でないと判断すると、ノートＰＣは、ステップＳ１０６に進む。

ステップＳ１０６では、ノートＰＣは、キャプチャを制限する。例えば、ノートＰＣは、図１２に示すステップＳ０４と同様の処理によって、キャプチャを制限する。

以上のような判別処理が行われると、判別処理の後、キャプチャが行われると、例えば、ノートＰＣは、以下のような画像データを生成することができる。

図１９は、本実施形態の画像処理装置によって生成される画像データを示す図の一例である。まず、画面の設定等が図１９（Ａ）に示すような状態であるとする。すなわち、図１８に示すような画面の設定であるとする。そして、判別処理が行われた後に、キャプチャが行われると、ノートＰＣは、図１９（Ｂ）に示すような画像データＤＩＭＧを生成することができる。具体的には、図１９（Ａ）のように、第１画面と第２画面とがつながっている状態であっても、判別処理を行うと、境界ＳＬが分かるため、ノートＰＣは、つながっている複数の画面のうち、第１画面を切り出して、図１９（Ｂ）のように第１画面を示す画像データＤＩＭＧを生成することができる効果を奏する。

一方で、判別処理が行われない場合（以下「比較例」という。）では、以下のような画像データが生成される場合が多い。

図２０は、比較例において生成される画像データを示す図の一例である。なお、図２０（Ａ）は、図１９（Ａ）と同様の画面の設定であるとする。すなわち、図２０（Ａ）に示すように、まず、第１画面と第２画面は、がつながっている状態である。

判別処理が行われないと、ノートＰＣは、第１画面及び第２画面の区切りが分からない状態である。そのため、キャプチャが行われると、図２０（Ｂ）に示すように、第１画面及び第２画面の両方を示す画像データが生成される場合が多い。このような場合には、ユーザは、図２０（Ｂ）のような画像データに対して、画像編集ソフト等を用いて、第１画面の部分等を切り出す作業を行う必要がある。

一方で、判別処理が行われる構成であると、ノートＰＣは、第１画面の部分を切り出すことができるため、ユーザによる切り出し作業等を省略させることができる。ゆえに、ノートＰＣは、判別処理によって、キャプチャによる作業を効率化させることができる効果を奏する。

＜第２実施形態＞
第２実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成である例で説明し、重複する説明を省略する。第２実施形態では、以下のような条件判定処理が行われる点が異なる。

＜条件判定処理例＞
ノートＰＣは、例えば、以下のような画面判定処理を行う条件判定部を備える。なお、条件判定部は、例えば、ＣＰＵ１０１（図５）等によって実現される。

図２１は、本実施形態の画像処理装置による条件判定処理を示すフローチャートの一例である。なお、条件判定処理は、アプリケーションを起動する際又は画面に係る設定を変更する際等に行われる処理である。

ステップＳ２１では、ノートＰＣは、複数の画面のうち、所定の条件を満たす画面があるか否か判断する。例えば、図２に示すように、ノートＰＣ６が、ノートＰＣ６が有するディスプレイと、電子黒板２が有するディスプレイとに画面を表示する例で説明する。このような場合において、電子黒板２の仕様等によって、電子黒板２が有するディスプレイに表示させる画面は、所定の条件を満たしていないと、表示できない場合等がある。

例えば、所定の条件は、所定の解像度であるか又は所定の解像度以上の解像度の画面等である。以下、電子黒板２が有するディスプレイに表示させる画面は、「１９２０×１０８０」の解像度（以下「ＦＨＤ」という。）でないと、電子黒板２が有するディスプレイに表示させることができない場合であるとする例で説明する。この例では、所定の条件が「ＦＨＤの解像度の画面である」とあらかじめノートＰＣにユーザによって設定される。また、以下の説明は、図１１に示すように、「拡張」の設定がノートＰＣに設定される例で説明する。

この例では、ステップＳ２１では、ノートＰＣは、第１画面及び第２画面のうち、どちらか一方又は双方の解像度がＦＨＤであるか否か判断する。なお、各画面の解像度は、ノートＰＣによって、図１２に示すステップＳ０６等のように取得される。例えば、図１３に示す例の場合には、第２画面が「１９２０×１０８０」の解像度であるため、第２画面がＦＨＤであると判断される。そのため、図１３に示す例では、ノートＰＣは、ステップＳ２１において所定の条件を満たす画面があると判断する（ステップＳ２１でＹＥＳ）。

次に、複数の画面のうち、所定の条件を満たす画面があると（ステップＳ２１でＹＥＳ）、ノートＰＣは、ステップＳ２２に進む。一方で、複数の画面のうち、所定の条件を満たす画面がないと（ステップＳ２１でＮＯ）、ノートＰＣは、ステップＳ２４に進む。

ステップＳ２２では、ノートＰＣは、画像表示装置がノートＰＣに接続されているか否か判断する。例えば、ノートＰＣは、図２に示すケーブル１０が電気的に接続されているか否か等をチェックし、電子黒板２が接続されているか否かを判断する。

この例では、ケーブル１０が電気的に接続されていないと、ノートＰＣは、電子黒板２から各種データを受信するのが難しい。そのため、電子黒板２上に書き込みが行われても、アプリケーションにデータが送信されない場合が多い。そこで、ステップＳ２２のようにケーブル１０が電気的に接続されている状態であるか否かが判断されると、ノートＰＣは、電子黒板２上の書き込みがアプリケーションに反映されないのを少なくできる。

次に、画像表示装置がノートＰＣに接続されていると（ステップＳ２２でＹＥＳ）、ノートＰＣは、ステップＳ２３に進む。一方で、画像表示装置がノートＰＣに接続されていないと（ステップＳ２２でＮＯ）、ノートＰＣは、ステップＳ２４に進む。

なお、ステップＳ２１及びステップＳ２２は、図示するように、別々に行われてもよく、ステップＳ２１の所定の条件にステップＳ２２の判断が含まれてもよい。

ステップＳ２３では、ノートＰＣは、アプリケーション画面を所定の条件を満たす画面に表示する。例えば、図１３に示す例では、第２画面が、所定の条件を満たす画面である。そこで、ステップＳ２３では、ノートＰＣは、アプリケーション画面ＡＰＰ（図７）を第２画面に表示する。このようにすると、例えば、ノートＰＣは、図７の下段（「拡張」の段）のように各画面を表示することとなる。

ステップＳ２４では、ノートＰＣは、アプリケーションの起動を中止する。

このような条件判定処理が行われると、ノートＰＣは、複数の画面のうち、所定の条件、特に解像度に係る条件を満たす画面を判定することができる。画像表示装置には、所定の条件を満たした画面でないと、画像表示装置の仕様等によって、表示できない場合がある。そのため、アプリケーション画面ＡＰＰ（図７）は、所定の条件を満たす画面に表示されるのが望ましい。そこで、ノートＰＣは、まず、所定の条件を満たす画面があるか否か判断する。そして、所定の条件を満たす画面がある場合には、ノートＰＣは、所定の条件を満たす画面に、アプリケーション画面ＡＰＰを表示する。

このように、所定の条件を満たす画面にアプリケーション画面ＡＰＰが表示されると、以降、ユーザは、所定の条件を満たす画面において、アプリケーション画面ＡＰＰに対して操作を行う場合が多い。そのため、画像表示装置には、アプリケーションを介して、表示することができる画面が、ノートＰＣによって表示される。

ユーザは、複数の画面のうち、どちらが所定の条件を満たす画面であるか知らない場合がある。そのため、画像表示装置を利用するのに、アプリケーション画面ＡＰＰをどの画面に表示させて使用すればよいかわからない場合がある。そこで、ノートＰＣが所定の条件を満たす画面を判定して、アプリケーションを起動すると、ユーザは、アプリケーションを用いて画像表示装置を利用することができる。

なお、「複製」の設定がノートＰＣに設定される場合であっても、例えば、画面が所定の解像度以上でないと、アプリケーション画面ＡＰＰが画面からはみ出す場合等がある。そこで、上記の方法は、「複製」の設定がノートＰＣに設定される場合に行われてもよい。

＜その他の実施形態＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

なお、本実施形態では、電子黒板２（図２）という呼称で説明したが、電子黒板２は、電子情報ボード、電子ホワイトボード又はインタラクティブホワイトボード等のように呼ばれていてもよい。

また、本実施形態では電子黒板２を例にして説明したが、不特定多数のものに使用され、データを作成し、該データを継続的に使用する機器に適用されてもよい。

また、図示する構成例は、電子黒板２による処理の理解を容易にするために、主な機能に応じて分割して示した構成である。そのため、処理単位の分割の仕方又は名称によって本願発明は、限定されない。例えば、電子黒板２の処理は、処理内容に応じて更に多くの処理単位に分割してもよい。また、１つの処理単位は、更に多くの処理を含むように分割されてもよい。

他にも、画像表示装置及び画像処理装置は、１つの情報処理装置によって実現される構成に限られない。すなわち、画像表示装置及び画像処理装置は、２つ以上の情報処理装置を有する情報処理システムであってもよい。なお、画像表示装置又は画像処理装置では、各処理の一部又は全部が分散、冗長、並列又はこれらを組み合わせるように、処理が行われてもよい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃及びＪａｖａ（登録商標）等のプログラミング言語等で記述されたコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置等のコンピュータに画像処理方法を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、フレキシブルディスク、光学ディスク、ＳＤ（登録商標）カード又はＭＯ等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

１ 画像処理システム
２ 電子黒板
３ ディスプレイ
４ 電子ペン
６ ノートＰＣ

特開２０００−４３４８４号公報

Claims (6)

1. 表示装置に接続される画像処理装置であって、
   前記画像処理装置のディスプレイに表示される第１画面と、前記画像処理装置のディスプレイの拡張として前記表示装置のディスプレイに表示される第２画面とを表示させる表示部と、
   前記第１画面と、前記第２画面とを識別するデータを少なくとも有する識別データを前記表示装置から取得する取得部と、
   前記識別データに基づいて、前記第１画面及び前記第２画面の区切りを判別する判別部と、
   前記第１画面に表示されるグラフィックユーザインタフェースの第１面積と、前記第２画面に表示される前記グラフィックユーザインタフェースの第２面積とを比較し前記第１画面又は前記第２画面のいずれかを取り込んで、画像データを生成する画像処理部と、を備える
   画像処理装置。
2. 前記画像処理部が前記画像データを生成すると、前記画像データに基づく第１画像を前記表示装置に表示させ、
   前記第１画像に対する前記表示装置に入力される操作を受け付けると、前記操作によって書き込まれる書込と、前記第１画像とを一体にした第２画像を生成する請求項１に記載の画像処理装置。
3. 前記第２画像は、前記第１画像に対して、手書きにて書き込まれるストローク画像を重畳させた画像である請求項２に記載の画像処理装置。
4. １以上の情報処理装置を有し、かつ、表示装置に接続される画像処理装置を有する画像処理システムであって、
   前記画像処理装置のディスプレイに表示される第１画面と、前記画像処理装置のディスプレイの拡張として前記表示装置のディスプレイに表示される第２画面とを表示させる表示部と、
   前記第１画面と、前記第２画面とを識別するデータを少なくとも有する識別データを前記表示装置から取得する取得部と、
   前記識別データに基づいて、前記第１画面及び前記第２画面の区切りを判別する判別部と、
   前記第１画面に表示されるグラフィックユーザインタフェースの第１面積と、前記第２画面に表示される前記グラフィックユーザインタフェースの第２面積とを比較し前記第１画面又は前記第２画面のいずれかを取り込んで、画像データを生成する画像処理部と、を備える
   画像処理システム。
5. 表示装置に接続される画像処理装置が行う画像処理方法であって、
   前記画像処理装置が、前記画像処理装置のディスプレイに表示される第１画面と、前記画像処理装置のディスプレイの拡張として前記表示装置のディスプレイに表示される第２画面とを表示させる表示手順と、
   前記画像処理装置が、前記第１画面と、前記第２画面とを識別するデータを少なくとも有する識別データを前記表示装置から取得する取得手順と、
   前記画像処理装置が、前記識別データに基づいて、前記第１画面及び前記第２画面の区切りを判別する判別手順と、
   前記画像処理装置が、前記第１画面に表示されるグラフィックユーザインタフェースの第１面積と、前記第２画面に表示される前記グラフィックユーザインタフェースの第２面積とを比較し前記第１画面又は前記第２画面のいずれかを取り込んで、画像データを生成する画像処理手順と
   を含む画像処理方法。
6. 表示装置に接続されるコンピュータに画像処理方法を実行させるためのプログラムであって、
   前記コンピュータが、前記コンピュータのディスプレイに表示される第１画面と、前記コンピュータのディスプレイの拡張として前記表示装置のディスプレイに表示される第２画面とを表示させる表示手順と、
   前記コンピュータが、前記第１画面と、前記第２画面とを識別するデータを少なくとも有する識別データを前記表示装置から取得する取得手順と、
   前記コンピュータが、前記識別データに基づいて、前記第１画面及び前記第２画面の区切りを判別する判別手順と、
   前記コンピュータが、前記第１画面に表示されるグラフィックユーザインタフェースの第１面積と、前記第２画面に表示される前記グラフィックユーザインタフェースの第２面積とを比較し前記第１画面又は前記第２画面のいずれかを取り込んで、画像データを生成する画像処理手順と
   を実行させるためのプログラム。

Images