JP5779085B2 - 情報処理装置、画面出力システム、画面出力制御方法およびプログラム - Google Patents

Description

本発明は、画面出力の制御に関し、より詳細には、情報の漏洩に配慮して映像出力装置等に対する画面の出力を制御する情報処理装置、画面出力システム、画面出力制御方法およびプログラムに関する。

近年、プロジェクタの小型化や低価格化などに伴い、プロジェクタで、資料をスクリーンに投影しながら会議を行ったり、アプリケーションのデモンストレーションを行ったりする機会が多くなっている。

このような背景にあって、「公開されては好ましくない情報」がプロジェクタにより投影されてしまい、情報が漏れてしまうという事例が発生している。例えば、カスタマー等社外からの出席者がある会議において、ブラウザを用いて開発アプリケーションのデモンストレーションを行う際に起こりがちなトラブルとして、ＵＲＬ入力候補、ブックマーク、閲覧履歴、チャット画面などの私的な情報が投影されてしまったり、社外秘の機密情報を含むメールメッセージが投影されてしまったりすることが考えられる。

このような「公開されては好ましくない情報」は、操作ミスや設定解除の失念による誤表示により漏れることになるが、投影開始前に全ての情報漏洩の可能性がある事項をチェックし、設定を変更しておくことは困難であり、投影開始後に受信する場合もあり、このような情報の漏洩を効率的に防止する技術の開発が望まれている。

上記情報の漏洩に配慮する技術としては、特開２００８−４６５６７号公報（特許文献１）が知られている。特許文献１は、表示装置に表示する表示内容を同時にプロジェクタなどの外部表示装置に表示する場合に、個人情報を表示する時に外部表示装置への表示を抑制することを目的とした技術を開示する。特許文献１は、より具体的には、外部表示装置に表示されたくない画面を規定する個人情報に関係するテキストが登録されるウィンドウ監視テーブルと、ウィンドウ監視テーブルに登録されたテキストがウィンドウメモリ内のデータに含まれているか監視する監視部と、登録されたテキストが含まれていることを検出するとその検出出力により表示装置への画面の出力を外部インタフェースへ接続するスイッチを切断状態に切り替える制御部を備える構成を開示する。

上記情報の漏洩を防止する技術としては、特開２００８−１０２３３２号公報（特許文献２）、特開２００９−１７５３９６号公報（特許文献３）および特開２００９−１７５３９７号公報（特許文献４）も知られている。特許文献２は、予め定義されたマスクパターンに従って、通常の領域の一部を隠して表示する、いわゆるマスク表示を行うプロジェクタを開示する。特許文献３および特許文献４は、出力が開始された画像情報に対して、マスク情報に基づくマスク処理を施し、画像表示装置に液晶ディスプレイと同一の画像を、マスク領域がマスクされた状態で表示する画像表示システムを開示する。

さらに、特開２００５−３４５５４３号公報（特許文献５）は、外部表示装置が接続されていることを検出した場合に、インタフェース手段を介して表示装置に表示される画面情報を外部表示装置にも出力可能な状態に切り替えた後、非表示の指示に従って、表示装置に表示される画面情報と、外部表示装置に表示すべき画面情報との表示内容を変更する構成を開示する。その他、プロジェクタ等の外部映像出力装置に一部を非表示とした画面表示を行う技術として、特開２０１０−１４５９２５号公報（特許文献６）も知られている。特許文献６は、ホワイトボード上において、投影画像と書き込んだ絵や文字等とが重複して双方が認識しがたいものとなっていることを防ぐことを目的として、画像の一部を非表示とする表示補正手段を備える構成を開示する。

その他、特開２００７−２１８９４４号公報（特許文献７）は、データ処理装置の表示画面上で起動中のウィンドウ、ウィンドウ内の画像表示領域、ＧＵＩ部品やアイコンなどの表示アイテムを検出し、検出された表示アイテムについて、画像表示装置に表示させるか否かを選択し、表示させると選択された表示アイテムの画像データに基づいて画像表示装置における画像表示を行う構成を開示する。

特開２００８−４６５６７号公報 特開２００８−１０２３３２号公報 特開２００９−１７５３９６号公報 特開２００９−１７５３９７号公報 特開２００５−３４５５４３号公報 特開２０１０−１４５９２５号公報 特開２００７−２１８９４４号公報 特開２０１０−２３７９３６号公報 特開２００１−１９７４７９号公報 特開２０１０−２４４５６１号公報 特開２００９−９８２８１号公報

上述したように映像出力装置の投影において画面の一部または全体を隠すマスク処理を行う種々の従来技術が知られている。しかしながら、例えば特許文献１のように「パスワード入力画面は表示しない」など予め非表示の画面を指定する手法や、特許文献２〜４のようにマスク処理する部分を予め定義しておく手法、特許文献５のように、切り替えた後、非表示の指示に従って外部表示装置に表示すべき画面情報の表示内容を変更する方法では、表示位置が必ずしも一定ではなく特定することが困難な「公開されては好ましくない情報」を確実に隠すことは難しい。

本発明は、上記従来技術に鑑みてなされたものであり、本発明は、画面の変更部分を検出し、変更部分にかかる表示の公開または非公開の指定に応じて出力を行うことによって、情報の漏洩に配慮した画面出力が可能な情報処理装置、画面出力システム、画面出力制御方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、以下の特徴を有する情報処理装置を提供する。本情報処理装置は、複数のディスプレイ出力を有し、第１ディスプレイに出力される第１画像を取得する画像取得部と、上記第１画像と、第２ディスプレイに出力される第２画像との差分領域を抽出する差分領域抽出部と、差分領域各々について、上記第２ディスプレイに出力するかの指示を受け付ける指示受付部とを含む。そして、本情報処理装置は、出力する指示を受け付けた差分領域に対応する第１画像の部分を第２画像に反映して、更新された第２画像を上記第２ディスプレイへ出力する画像出力部を含む。

上記構成によれば、第１ディスプレイに出力される第１画像と、第２ディスプレイに出力される第２画像とにおける変更部分が検出されて、変更部分について行われる出力するかの指示に応じて、第２ディスプレイに出力される第２画像が更新される。更新された第２画像では、出力する指示を受け付けた差分領域に対応する第１画像の部分が第２画像に反映されている。したがって、出力する指示を受け付けてから第１画像の部分が第２画像に反映されるため、公開が望ましくない情報の出力を事前に止めることが可能となる。また、更新部分が差分領域として検出されるので、マスク対象としたい箇所を予め特定しておくことが困難な場合にも好適に適用することができる。

本実施形態による映像投影システムの概略構成図。 ブラウザ画面のスナップショットを例示する図（１／２）。 ブラウザ画面のスナップショットを例示する図（２／２）。 本実施形態によるコンピュータ装置上に実現される画面出力制御ソフトウェアの機能ブロック図。 本実施形態におけるローカル画面と公開画面との同期処理の流れを説明する図。 複数の同期ピリオドにわたる処理の流れを説明する図。 本実施形態におけるコンピュータ装置が実行する画面出力制御方法における同期ピリオド毎の処理を示すフローチャート（１／２）。 本実施形態におけるコンピュータ装置が実行する画面出力制御方法における同期ピリオド毎の処理を示すフローチャート（２／２）。 本実施形態による同期処理を示すフローチャート。 本実施形態においてメインディスプレイに表示される指示受付画面を例示する図。 本実施形態においてメインディスプレイに表示される指示受付画面の投影対象エリアを例示する図。 本実施形態においてメインディスプレイに表示される指示受付画面の投影対象エリアを例示する図。 （Ａ）ブラウザ画面を例示する図、および（Ｂ）ＵＲＬ指定部分を特定する定義パターンを例示する図。 （Ａ）矩形領域として表される差分領域、（Ｂ）多角形または曲線領域として表される差分領域、（Ｃ）複数の差分領域を包含する最小の矩形領域として表される併合後の差分領域、および（Ｄ）複数の差分領域を包含する最小の多角形または曲線領域として表される併合後の差分領域を例示する図。 コンピュータ装置のハードウェア構成の実施形態を示す図。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、複数のディスプレイ出力を有する情報処理装置を含む画面出力システムとして、メインディスプレイを搭載し、さらにサブディスプレイとして外部映像出力装置に接続されたコンピュータ装置を含む、映像投影システムを一例に説明する。

図１は、本実施形態による映像投影システムの概略構成を示す図である。図１に示す映像投影システム１００は、コンピュータ装置１１０を含む。図１に示すコンピュータ装置１１０は、メインディスプレイ１４０を搭載しており、さらに、ＶＧＡ（Video Graphics Array）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）などの外部映像出力インタフェースを介して、外部の映像出力装置１５０に接続されており、複数のディスプレイ出力を有する構成とされる。

上記コンピュータ装置１１０は、図１では、ディスプレイを備えるノート型パーソナル・コンピュータを例示するが、特に限定されるものではなく、ディスプレイを搭載し、または外部ディスプレイに接続される、タワー型、マイクロタワー型、デスクトップ型、モバイル型またはタブレット型のパーソナル・コンピュータ、サーバ、ワークステーションなどの汎用コンピュータとして構成することができる。あるいは、上記コンピュータ装置１１０は、携帯電話、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistance）端末などの携帯情報端末として構成することもできる。上記メインディスプレイ１４０および映像出力装置１５０は、特に限定されるものではないが、それぞれ液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ、プラズマ・ディスプレイ、液晶，ＤＬＰ（登録商標），ＬＣＯＳ（Liquid Crystal On Silicon）などのビデオ・プロジェクタ、リアプロジェクション・ディスプレイ、ＣＲＴ（Cathode Ray Tube）モニタなどを用いることができる。

本実施形態によるコンピュータ装置１１０は、当該装置のメインディスプレイ１４０に出力している画面（以下、ローカル画面）を上記映像出力装置１５０に出力するための画面出力制御ソフトウェア（詳細は後述する。）を備えている。

上記映像出力装置１５０からローカル画面を投影する場合、ローカル画面上に存在する「公開されては好ましくない情報」が、映像出力装置１５０を通じて公開されてしまう可能性がある。図２および図３は、「公開されては好ましくない情報」がローカル画面上に表示されてしまうシナリオを説明する図である。図２および図３は、ブラウザを用いて所定のＵＲＬで指定されるサイトにアクセスする際における、ブラウザ画面のスナップショット２００，２２０，２４０，２６０，２８０を例示する。

まず、図２（Ａ）のスナップショット２００で示すように、ブラウザのアドレスバー２０２に文字列２０４が入力されると、図２（Ｂ）スナップショット２２０で示すように、入力アシスト機能により、履歴情報やブックマーク情報に基づき、入力された文字列２０４にマッチするサイトの候補を列挙するドロップダウン・メニュー２２２が表示されることがある。このとき、図２（Ｃ）のスナップショット２４０で示すように、ドロップダウン・メニュー２２２から目的のサイトに対応する候補アイテム２４２が選択されると、図３（Ａ）に示す過渡的な読み込み画面を経て、図３（Ｂ）に示す目的のサイトのトップページ２８４がブラウザ上に表示される。

上記シナリオにおいて、アドレスバーへの文字入力の詳細（図２（Ａ）の入力途中の文字列２０４）、候補サイトのリストアップ（図２（Ｂ）のドロップダウン・メニュー２２２）、サイト決定の詳細（図２（Ｃ）の候補アイテム２４２のハイライト）、読み込み画面におけるアドレスバー、タブやステータスバーの変化（図３（Ａ）のタブ表示２６４、ＵＲＬ表示２６６およびプログレス表示２６８）などは、必ずしも映像出力装置１５０から投影することを要しない。特に入力アシスト機能によるドロップダウン・メニュー２２２の内容は、私的な情報を含む可能性があるため、むしろ投影されない方が好ましい。その一方で、図３（Ｂ）のスナップショット２８０で示す最終的に切り替わった後の画面は、目的のサイトのトップページ２８４が含まれるため、上記シナリオでは投影させたい画面となる。

そこで、本実施形態の画面出力制御プログラムは、ローカル画面の各遷移における更新部分（図２および図３に示す領域２１０，２３０，２５０，２７０，２７２，２７４，２７６，２９０，２９２，２９４，２９６を含む。）を検出し、ローカル画面の各部分についてオペレータに指示を求め、オペレータから公開を許可されなかった部分はマスク等をし、公開を許可された部分が反映された公開画面を上記映像出力装置１５０に出力する機能を備える。このとき、上記映像出力装置１５０から出力される公開画面は、全ての部分の公開が許可されればローカル画面と同一の画面となり、少なくとも一部の公開が許可されなければ、ローカル画面と異なる画面となる。

図１を再び参照すると、上記コンピュータ装置１１０は、さらに、ネットワーク１０２を介して、外部のコンピュータ装置（以下、リモート端末という。）１６０ａ，１６０ｂに接続することができる。上記ネットワーク１０２は、特に限定されるものではないが、インターネットやＬＡＮ（Local Area Network）などの有線または無線のネットワークを含むことができる。本実施形態のコンピュータ装置１１０は、上述したローカル画面の公開を許可する部分の指示を、当該コンピュータ装置１１０のオペレータから受け付けるとともに、ネットワーク１０２を介してリモート端末１６０（以下、リモート端末１６０ａ，１６０ｂを代表してリモート端末１６０と参照する。）から受け付けることができるよう構成される。

なお、説明する実施形態では、内蔵ディスプレイ−外部ディスプレイ（外部の映像出力装置）の構成を例に説明するが、他の実施形態では、複数の内蔵ディスプレイを備える構成としてもよく、複数の外部ディスプレイを備える構成としてもよい。また、コンピュータ装置１１０と映像出力装置１５０との接続は、説明する実施形態では、外部映像出力インタフェースを介して行われるものとして説明するが、有線ＵＳＢ（Universal Serial Bus）接続、無線ＵＳＢ接続、有線ＬＡＮ（Local Area Network）接続または無線ＬＡＮ接続によってなされてもよい。

以下、図４〜図１０を参照しながら、本実施形態によるコンピュータ装置上で動作する画面出力制御ソフトウェアの詳細について説明する。図４は、本実施形態によるコンピュータ装置上に実現される画面出力制御ソフトウェアの機能ブロックを示す図である。図４に示すコンピュータ装置１１０上の機能ブロックは、ローカル画面の画像を取得するローカル画像取得部１１２と、差分領域抽出部１１４と、ＵＩ表示部１１６と、指示入力部１１８と、ローカル画面の公開を許可された部分が反映された公開画面を映像出力装置１５０に出力する公開画面出力部１２０とを含む。

ローカル画像取得部１１２は、例えば所定インターバル毎に、メインディスプレイ１４０に出力されるローカル画面をキャプチャし、キャプチャされた画像を取得画像Ｌとして、ＲＡＭ（Random Access Memory）などの主記憶装置等に保存する。ローカル画面の全部または一部が投影対象に設定されており、ローカル画面の投影対象範囲の画像が映像出力装置１５０からスクリーンに投影される。ローカル画像取得部１１２は、上記ローカル画面の投影対象範囲の画像を取得する機能を有し、本実施形態の画像取得部を構成する。以下、ローカル画面の投影対象範囲の画像をローカル画像Ｌといい、ローカル画像Ｌに対応して映像出力装置１５０に出力される公開画面の画像を公開画像Ｐという。

取得されたローカル画像（取得画像）Ｌは、適宜、画像リストＳ中に蓄積される。画像リストＳ内の画像（以下、蓄積画像という。）ｓ−１〜ｓ−ｎは、詳細を後述するダイジェスト表示のために保存されるものであり、ローカル画面の状態を公開画面に反映させる同期処理が行われるまでの期間保存される。画像リストＳは、ＲＡＭなどの主記憶装置またはＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの補助記憶装置に保存される。

差分領域抽出部１１４は、例えば所定インターバル毎に、ローカル画像取得部１１２が取得した取得画像Ｌと、直近に映像出力装置１５０に出力された画像（以下、同期処理により更新され、差分抽出の際に比較される画像を同期画像と参照する）Ｐ’とを比較し、その画像間の変更部分である差分領域を抽出する。

差分領域は、特に限定されるものではないが、処理高速化の観点から好適には、更新部分の画素領域を包含する最小の矩形領域として、２点の座標情報で表すことができる。図１４（Ａ）は、吹き出し表示オブジェクトが更新部分の画素領域４９０として検出された場合の、矩形領域として表される差分領域４９２Ａを例示する図である。なお、図１４（Ｂ）に示すように、差分領域は、更新部分の画素領域４９０を包含する最小の図形領域（線分や曲線で囲まれた領域）４９２Ｂとして、複数点の座標情報およびパラメータで表すこともでき、厳密に更新部分の画素領域に対応した形状としてもよい。新たに抽出された差分領域を要素とする集合（差分領域集合）ｒは、差分領域リストＲに登録される。差分領域リストＲも同様に適切な記憶装置に保存される。

差分領域抽出部１１４は、また、差分領域リストＲ内で互いに重なり合う複数の差分領域を見つけた場合は、これら複数の差分領域を併合（merge）して１つの差分領域の要素とする。併合された差分領域は、好適には、併合前の複数の差分領域を包含する最小の矩形領域とされる。図１４（Ｃ）は、複数の差分領域４９４，４９６を包含する最小の矩形領域として表される併合後の差分領域４９８Ａを例示する図である。なお、図１４（Ｄ）に示すように、併合された差分領域は、複数の差分領域４９４，４９６を包含する最小の図形領域４９８Ｂとして、複数点の座標情報およびパラメータで表すこともでき、併合される複数の差分領域４９４，４９６に厳密に対応した形状としてもよい。

比較にかかる取得画像Ｌおよび同期画像Ｐ’間の差分領域の抽出は、例えば、動画コーデックにおける前後フレーム間の差分を抽出する技術や、監視カメラ装置で変化を検出する際に用いられる画像間の差分を抽出する技術を適用して実現することができる。差分領域の抽出に適用できるこのような技術としては、特許文献８（特開２０１０−２３７９３６号公報）、特許文献９（特開２００１−１９７４７９号公報）、特許文献１０（特開２０１０−２４４５６１号公報）、特許文献１１（特開２００９−９８２８１号公報）に開示される技術を挙げることができる。また、取得画像Ｌおよび同期画像Ｐ’の縮小画像を準備し、縮小画像を比較することにより、フルサイズの場合に比べて処理の高速化を図っても良い。

ＵＩ表示部１１６は、差分領域リストＲから各差分領域の要素を取得し、コンピュータ装置１１０のメインディスプレイ１４０上に、各差分領域について公開を許可する（出力する）かまたは公開を許可しない（出力しない）かの指示をオペレータに求めるＧＵＩ（Graphical User Interface）部品を表示する。ＵＩ表示部１１６は、好適には、上記差分領域各々を視覚的に示すビジュアル・キュー（ＶＣ：Visual Cue）と、差分領域各々に関連付けて上記ローカル画像上に設けられた上記ＧＵＩ部品とを含む指示受付画面を、メインディスプレイ１４０上に提供する。なお、このようなビジュアル・キューやＧＵＩ部品も、ローカル画面に表示されることになるが、上記ローカル画像取得部１１２が取得するローカル画像Ｌは、このようなビジュアル・キューやＧＵＩ部品が除かれたものとなる。

指示入力部１１８は、コンピュータ装置１１０が備えるマウス、キーボード、タッチパッドなどの入力装置を介した入力操作を通じて、各差分領域について公開を許可するか否かの指示を受け付ける。指示入力部１１８は、公開を許可する旨の指示が行われた各差分領域に対して公開属性値を付加し、一方で公開を許可しない旨の指示が行われた各差分領域に対して非公開属性値を付加する。したがって、差分領域リストＲの要素は、差分領域を画定する座標情報とともに、差分領域に付加された上記属性値を保持する。

指示入力部１１８は、さらに、上記入力装置を介した入力操作を通じて、公開が許可された部分につきローカル画面の状態を公開画面に反映させる同期処理の実行を求める、オペレータからの明示的な指示を受け付けることができる。上記明示的な指示としては、指示受付画面におけるＧＵＩ部品に対するマウスやタッチパッドによる入力操作のほか、明示的な同期を指令するコマンドが割り当てられたショートカットキーとしてもよい。同期を行う旨の明示的な指示が行われると、同期フラグＦが立てられる。

画面出力制御ソフトウェアの機能ブロックは、さらに、上記同期処理を定期的に実行するタイミングを規定する同期タイマ１２４を含むことができる。同期タイマ１２４は、セットされたインターバルが経過すると、同期処理の実行を求める暗黙的な指示として、同期フラグＦを立てる。

上記公開画面出力部１２０は、上記明示的に同期処理を指示する入力操作イベントが発生し、または上記同期タイマ１２４にセットされたインターバルが経過したことに対応し同期フラグＦが立てられたことに応答して、同期処理を実行する。同期処理では、公開画面出力部１２０は、上記公開属性値が付加された差分領域に対応する上記ローカル画像Ｌの部分を、直近の公開画像Ｐ’に上書きして、更新された公開画像Ｐを映像出力装置１５０へ出力する。更新された公開画像Ｐまたは同期時のローカル画像Ｌは、差分領域抽出部１１４で次回比較を行うために、同期画像Ｐ’として保存される。

公開画面出力部１２０は、さらに、上述したダイジェスト表示を行うため、遷移画像生成部１２２を備えることができる。上述したように、ローカル画像取得部１１２は、複数時点でローカル画像Ｌを取得し、画像リストＳ内に蓄積している。遷移画像生成部１２２は、画像リストＳ内の各時点の蓄積画像ｓ−１〜ｓ−ｎから、上記公開属性値が付加された差分領域に対応する部分の画像を取得し、各遷移画像を生成する。公開画面出力部１２０は、各遷移画像を時系列順に公開画像Ｐ’に合成して、更新された画像を順次、映像出力装置１５０に出力する。この順次出力される画像は、前回の同期処理で公開画像が出力されてから、今回の同期で最新状態が反映された公開画像を出力するまでの期間におけるローカル画面の変化を要約するものであり、静止画像のコマ送りとして、または動画として出力される。

上述したように各差分領域に対しては、オペレータからの指示により、公開属性値または非公開属性値が付加されることになる。画面出力制御ソフトウェアは、このようなオペレータからの明示的な指示に基づくほか、オペレータからの指示を求めずに、定型として予め定義された既定差分領域を検出して属性値を付加する既定領域検出部１３０を備えることができる。既定領域検出部１３０には、既定差分領域を特定するためのパターンが定義されている。既定領域検出部１３０は、差分領域リストＲ内の差分領域が定義パターンにマッチする場合には、その差分領域を既定差分領域として検出し、そのマッチした定義パターンに対応付けられた既定属性値（公開属性値または非公開属性値）を付加する。

画面出力制御ソフトウェアの機能ブロックは、さらに、指示画面配信部１３２と、指示受信部１３４とを備えることができる。指示画面配信部１３２は、予めリモート接続を確立しているリモート端末１６０に、上述した指示受付画面を配信する。指示受信部１３４は、リモート端末１６０からの上記指示受付画面を介した公開を許可するか否かの指示を受信する。

上記のように、ローカル画面の公開を許可する部分の指示をリモート端末１６０からも受け付けることにより、発表等の場面において、ローカル画面の変更部分の公開または非公開の選択や同期指示をチームの共同作業として行うことができる。これにより、複数人による監視の下、漏れのない緻密な公開および非公開の制御を行うことが可能となる。指示入力部１１８および指示受信部１３４またはこれらのいずれか一方は、本実施形態における指示受付部１３６を構成する。

以下、図５および図６を参照しながら、本実施形態における同期処理について、より詳細に説明する。図５は、本実施形態におけるローカル画面と公開画面との同期処理の流れを説明する図である。図５には、複数時点Ｔ０〜Ｔ４において取得されるローカル画像Ｌと、対応してビジュアル・キューＶＣおよびＧＵＩ部品が表示されたローカル画面Ｌ＋と、同期時に出力される公開画像Ｐとが模式的に示されている。時点Ｔ０は、前回の同期処理に対応するものであり、時点Ｔ０においては、ローカル画像Ｌの全体が公開を許可され、ローカル画像Ｌと同一の公開画像Ｐが映像出力装置１５０から投影されている。

時点Ｔ１および時点Ｔ２では、コンピュータ装置１１０に対するオペレータの入力操作に応答して、ウィンドウ画面やプルダウンメニューなどのオブジェクトＯｂｊ１，Ｏｂｊ２がローカル画像Ｌ上に生成され、これらオブジェクトＯｂｊ１，Ｏｂｊ２に対応する領域が、ローカル画像Ｌ（Ｔ１，Ｔ２）と公開画像Ｐ’との差分領域として抽出される。ローカル画面Ｌ＋上では、差分領域が抽出されたことに対応して、それぞれオブジェクトＯｂｊ１，Ｏｂｊ２を囲むフレームなどのビジュアル・キューＶＣと、公開または非公開を指示するボタンなどのＧＵＩ部品とが表示される。

図５に示すオブジェクトＯｂｊ１，Ｏｂｊ２は、画面リサイズなどの操作により発展しており、例えばオブジェクトＯｂｊ１については、時点Ｔ１の後も複数の時点Ｔ２，Ｔ３、Ｔ４でそれぞれローカル画像Ｌと公開画像Ｐ’との差分領域として新たに抽出される。このとき、時点Ｔ２，Ｔ３、Ｔ４で抽出されるオブジェクトＯｂｊ１の差分領域は、互いに重なり合うため、併合されて１つの要素として扱われる。なお、図５では、同一オブジェクトに対しては、時系列を通して同一のハッチングがかけられている点に留意されたい。

時点Ｔ３では、各オブジェクトＯｂｊ１，Ｏｂｊ２の差分領域に対して、公開するか非公開とするかのＧＵＩ部品（図５中、「○」または「×」で表されている。）に対する入力操作が行われる。ここでは、時間Ｔ４に示すように、オブジェクトＯｂｊ１については「非公開」が指示され、オブジェクトＯｂｊ２については「公開」が指示されるものとして説明を続ける。

上記明示的に同期処理を指示する入力操作イベントが発生し、または同期タイマ１２４にセットされたインターバルが経過したことに対応し、時点Ｔ４では同期フラグＦが立てられたことを検出して、同期処理が実行される。上記例の指示が行われた場合は、非公開の指示が行われたオブジェクトＯｂｊ１に対応する部分３０２がマスク画像（グレイアウト、白ベタ、黒ベタなど）で置換されるか、または更新前の画像のままとされ、一方で公開が指示されたオブジェクトＯｂｊ２に対応する部分３０４がローカル画像Ｌの最新状態に更新された、公開画像Ｐ（Ｔ４）が映像出力装置１５０から投影される。非公開のオブジェクトＯｂｊ１に対応する部分３０２の公開は、次回の同期処理時まで保留されることになる。

ダイジェスト表示が行われる場合には、画像リストＳ内の各時点のローカル画像Ｌ（Ｔ１，Ｔ２，Ｔ３）に対応する各蓄積画像から、上記公開属性値が付加されたオブジェクトＯｂｊ２の差分領域に対応する部分の各遷移画像が生成され、時点Ｔ０の公開画像Ｐに遷移画像３０４ａ〜３０４ｃを合成したダイジェスト画像Ｄ１〜Ｄ３が、時点Ｔ４の公開画像Ｐに先立って時系列順に出力される。このようにダイジェスト表示を行うことによって、公開画像において操作中の画面の遷移を好適に再現することが可能となる。

図６は、複数の同期ピリオドにわたる処理の流れを説明する図である。ここで、同期ピリオドは、同期処理が行われたタイミング間の期間をいう。図６には、同期ピリオド毎に、各時点におけるローカル画面Ｌ＋と、同期画像Ｐ’と、公開画像Ｐとが模式的に示されている。図６の開始時点においては、図５と同様に、ローカル画像Ｌの全体が公開を許可されており、ローカル画像Ｌと同一の公開画像が投影され、同期画像Ｐ’として蓄積されている。

時点Ｔ０から１回目の同期処理が行われる時点Ｔ５までを含む第１ピリオドでは、入力操作により時点Ｔ０でオブジェクトＯｂｊ１が生成され、新たな差分領域（以下、Ｏｂｊ１を付して参照する場合がある。）として抽出される。時点Ｔ５では、差分領域Ｏｂｊ１についてＧＵＩを介して非公開の指示が行われ、差分領域Ｏｂｊ１に対し非公開属性値が付加される。この場合は、時点Ｔ５のローカル画像Ｌにおいて差分領域Ｏｂｊ１に対応する部分３１０が非公開（マスク画像または更新前の画像）とされた公開画像Ｐが公開される。そして、時点Ｔ５のローカル画像Ｌまたは公開画像Ｐが、次のピリオドのための同期画像Ｐ’として保存される。同期画像Ｐ’における領域３１２は、非公開属性値が付加された差分領域Ｏｂｊ１に対応する。

時点Ｔ６から２回目の同期処理が行われる時点Ｔ１１までを含む第２ピリオドでは、第１ピリオドで非公開とされた差分領域Ｏｂｊ１が、引き続いてそのまま差分領域として取り扱われる。第１ピリオドで差分領域Ｏｂｊ１に付加された非公開属性値は、第２ピリオドにおいても引き継がれる。また、第２ピリオドでは、入力操作により時点Ｔ７でオブジェクトＯｂｊ２が生成され、新規な差分領域Ｏｂｊ２として抽出される。

時点Ｔ１１では、差分領域Ｏｂｊ２についてＧＵＩを介して公開の指示が行われ、この差分領域Ｏｂｊ２に対し公開属性値が付加される。一方で、差分領域Ｏｂｊ１については、重ねて非公開の指示が行われたか、または公開の明示の指示が行われず、非公開属性が引き継がれている。この場合は、差分領域Ｏｂｊ１に対応する部分３１４が非公開とされ、公開が指示されたオブジェクトＯｂｊ２に対応する部分３１６にローカル画像Ｌの最新状態が更新された公開画像Ｐが公開される。時点Ｔ１１のローカル画像Ｌまたは公開画像Ｐは、同様に、次のピリオドのための同期画像Ｐ’として保存される。同期画像Ｐ’における領域３１８は、引き続き非公開とされた差分領域Ｏｂｊ１に対応する。

ダイジェスト表示が行われる場合には、差分領域Ｏｂｊ２については、画像リストＳ内の各時点のローカル画像Ｌ（Ｔ６〜Ｔ１０）に対応する蓄積画像から、対応する部分の遷移画像が生成され、ダイジェスト画像が時系列順に出力される。一方、差分領域Ｏｂｊ１については、第１ピリオドで一度明示的な非公開の指示が行われているので、遷移画像が公開されては好ましくないことから、遷移画像は取得されず、ダイジェスト画像においても非公開とされる。

時点Ｔ１２から３回目の同期処理が行われる時点Ｔ１７までを含む第３ピリオドでは、第２ピリオドまで非公開属性値が引き継がれた差分領域Ｏｂｊ１は、そのまま差分領域として取り扱われる。第３ピリオドでは、入力操作により時点Ｔ１３でオブジェクトＯｂｊ３が生成され、新規な差分領域Ｏｂｊ３として抽出される。オブジェクトＯｂｊ３は、拡大する方向に発展しており、時点Ｔ１４で、矢印３２０で示すようにオブジェクトＯｂｊ１と重なっている。この場合、差分領域Ｏｂｊ３と差分領域Ｏｂｊ１とは互いに重なり合うため、併合されて１つの差分領域として取り扱われ、差分領域Ｏｂｊ１の非公開属性値が優先して引き継がれる。このオブジェクトＯｂｊ１とオブジェクトＯｂｊ３を結合した差分領域をＯｂｊ４で参照する。

時点Ｔ１７では、差分領域Ｏｂｊ４についてＧＵＩを介して公開の指示が行われ、この場合は、差分領域Ｏｂｊ４に対応する部分３２２にローカル画像Ｌの最新状態が更新された公開画像Ｐが公開され、同様に、時点Ｔ１７のローカル画像Ｌまたは公開画像Ｐが次のピリオドのための同期画像Ｐ’として保存される。次のピリオドでは、非公開属性が付された差分領域が最早存在しないので、差分領域の引き継ぎは行われない。

時点Ｔ１７でダイジェスト表示が行われる場合には、第１ピリオドで差分領域Ｏｂｊ１に一度明示的な非公開の指示が行われているので、その非公開属性を引き継いでいる差分領域Ｏｂｊ４については、明示の公開の指示が行われた以前の遷移画像は取得されず、ダイジェスト画像においても非公開とされる。また、典型的には、ピリオドで一度でも非公開属性が付された差分領域は、ダイジェスト表示の対象外とされる。

以下、図７〜図１０を参照しながら、本実施形態におけるコンピュータ装置が実行する画面出力の制御方法について詳細に説明する。図７および図８は、本実施形態におけるコンピュータ装置が実行する画面出力制御方法における、同期ピリオド毎の処理を示すフローチャートである。図７および図８は、図中のポイントＡおよびポイントＢにおいて互いに連結されていることに留意されたい。また、図９は、図８におけるステップＳ１１９で呼び出される同期処理を示すフローチャートである。

図７および図８に示す処理は、ステップＳ１００から開始される。ステップＳ１０１では、コンピュータ装置１１０は、記憶装置から同期画像Ｐ’を読み込み、ステップＳ１０２では、記憶装置から差分領域リストＲを読み込む。なお、初回の同期ピリオドでは、同期画像Ｐ’は、空白の画像であり、差分領域リストＲには、ローカル画像Ｌ全体に対応した非公開属性が付された差分領域の要素が含まれる。ステップＳ１０３では、コンピュータ装置１１０は、画像リストＳを空の状態で初期化し、ステップＳ１０４で、同期フラグＦを値”偽”で初期化する。

ステップＳ１０５では、コンピュータ装置１１０は、比較イベントが発生したか否かを判定する。比較イベントは、上述したように所定インターバル毎に上記ローカル画像Ｌを取得し、同期画像Ｐ’と比較して差分領域を抽出する場合は、所定インターバルが経過したことに対応するタイマイベントになる。オペレータからの同期処理の実行を求める明示的な指示を受け付ける場合は、この入力操作イベントも比較イベントに含まれる。

ステップＳ１０５で、比較イベントが発生していないと判定された場合（ＮＯ）は、ステップＳ１０６へ処理が分岐され、コンピュータ装置１１０は、一定時間待機した後、ステップＳ１０５へループさせて、比較イベントが発生するのを待ち受ける。一方、ステップＳ１０５で、比較イベントが発生したと判定された場合（ＹＥＳ）は、ステップＳ１０７へ処理が進められる。

ステップＳ１０７では、コンピュータ装置１１０は、明示的または暗黙的な同期指示があった否かを判定する。指示入力部１１８が、同期の明示的な指示に対応する入力操作を受け付けた場合や、同期タイマ１２４のタイマイベントが発生した場合は、同期指示があったと判定される。ステップＳ１０７で、同期指示があったと判定された場合（ＹＥＳ）は、ステップＳ１０８へ処理が進められ、コンピュータ装置１１０は、同期フラグＦに値”真”をセットし、ステップＳ１０９へ処理を進める。一方、ステップＳ１０７で、同期指示がなかったと判定された場合（ＮＯ）は、ステップＳ１０９へ直接処理が進められる。

ステップＳ１０９では、コンピュータ装置１１０は、上記ローカル画像取得部１１２により、ローカル画像Ｌを取得し、記憶装置に保存する。ステップＳ１１０では、コンピュータ装置１１０は、差分領域抽出部１１４により、取得画像Ｌと同期画像Ｐ’とを比較して、差分領域の集合ｒを抽出する。ステップＳ１１１では、コンピュータ装置１１０は、差分領域抽出部１１４により、新たに抽出された差分領域集合ｒを差分領域リストＲに組み入れる。

上記ステップＳ１１１では、差分領域リストＲにある既存の差分領域と重なり合う差分領域が新たに抽出された場合は、これらが１つの差分領域として併合（merge）される。併合された差分領域は、好適には、併合前の複数の差分領域を包含する最小の矩形領域とされる。ここでは、図５を参照して説明したような同一オブジェクトに対応する差分領域や、図６を参照して説明したような重なり合う複数のオブジェクトに対応する差分領域が併合されることになる。

ステップＳ１１１の後は、ポイントＡを介して、図８に示すステップＳ１１２に進められる。ステップＳ１１２では、コンピュータ装置１１０は、差分領域リストＲ内の全要素（差分領域）を取得し、ステップＳ１１３では、ＵＩ表示部１１６により、取得された各要素について公開または非公開の選択を行うための指示受付画面をメインディスプレイ１４０上に表示させる。

図１０は、本実施形態においてメインディスプレイ１４０に表示される指示受付画面４００を例示する図である。図１０に示す指示受付画面４００は、ローカル画像Ｌ上にビジュアル・キューＶＣおよびＧＵＩ部品が重ねて表示される投影対象エリア４１０を含む。投影対象エリア４１０の大きさは、映像出力装置１５０の解像度に対応する。投影対象エリア４１０には、差分領域を囲むフレーム４２０が設けられ、フレーム４２０に隣接して、囲まれた差分領域を公開するか否かの指示を受け付けるＧＵＩ部品群４２２が設けられる。図１０に例示するＧＵＩ部品群４２２の機能については、詳細を後述する。

再び図８を参照すると、ステップＳ１１４では、コンピュータ装置１１０は、指示入力部１１８により、上記ＧＵＩ部品に対して行われた入力操作を検知して、要素（差分領域）に対し公開属性値または非公開属性値を追加する。ステップＳ１１５では、コンピュータ装置１１０は、同期フラグＦの値が”真”であるか否かを判定する。ステップＳ１１５で、同期フラグの値が”真”ではないと判定された場合（ＮＯ）は、ステップＳ１１６へ処理が分岐される。ステップＳ１１６では、コンピュータ装置１１０は、取得画像Ｌを画像リストＳに追加し、ポイントＢを介してステップＳ１０５へ再び処理がループされる。

ステップＳ１０５〜ステップＳ１１６のフローは、明示的な指示または暗黙的な指示により同期フラグが立てられるまで繰り返される。これにより、複数時点においてローカル画像Ｌと同期画像Ｐ’との差分領域が抽出され、適宜併合が行われ、現時点までの差分を含む差分領域が抽出される。図１０においてフレーム４２０で囲まれた差分領域は、前回の公開画像Ｐ’と比較した現時点までの差分をすべて含むものであり、一方、図１０中の領域４１２は、現時点のローカル画像Ｌと前回の同期画像Ｐ’との差分領域を示している。同時に、各時点のローカル画像Ｌが、ダイジェスト表示のため画像リストＳに順次追加される。上記ステップＳ１０５〜ステップＳ１１６のフローは、また、所定のインターバル毎に繰り返されることになるが、上記ステップＳ１１４では、いくつかの差分領域について公開または非公開の選択が検出されない可能性もある。その場合は、属性が付加されないまま、処理が継続される。

再び図１０を参照すると、図１０に示す指示受付画面４００は、さらに、差分領域に対応する、各時点で取得されたローカル画像の部分のサムネイル画像４３２ａ，４３２ｂ・・・を並べて表示する遷移画像表示エリア４３０を含む。

サムネイル画像４３２は、ダイジェスト表示の各差分領域の遷移画像に対応するものであり、これにも公開または非公開の指示を受け付けるＧＵＩ部品群４３４が設けられ、さらに、既に設定された属性を表示する属性表示４３６が設けられている。上記ＧＵＩ部品群４３４をクリックすることにより、各遷移画像を指定して個別に公開（「○」ボタン）または非公開（「×」ボタン）の選択を行うことができる。このように、各差分領域には、画像リストＳの蓄積画像から取得される各遷移画像に対応して、属性値が時系列として保管される。属性値の時系列は、例えば「−−１０（ただし、−は属性なし、１は公開属性値、０は非公開属性値を表す。）」のような属性値のセットを保持する。

上述した遷移画像表示エリア４３０を指示受付画面に設けることにより、偶然蓄積された、公開すべきではない画像が画像リストＳに含まれていないか確認し、そのような画像が含まれる場合に非公開を指示することができる。図１０の例示では、サムネイル画像４３２ｂにログイン・パネルが表されており、同期ピリオド中にタイムアウトのためログイン・パネルが表示されたことを表している。ログイン・パネルには、ユーザ名など公開すべきではない情報が表示されるおそれがあるため、このサムネイル画像４３２ｂに対応する遷移画像を非公開に設定することにより、情報漏洩を好適に防止することができる。

なお、図１０の例では、遷移画像表示エリア４３０が画面下部に表示されるものとしているが、その表示位置は特に限定されるものではない。他の実施形態では、投影対象エリア４１０の右側または左側に表示されてもよいし、コンピュータ装置１１０がさらに他のディスプレイを備える場合には、そのディスプレイに表示することもできる。

ここで、投影対象エリア４１０において差分領域に関連付けて設けられるＧＵＩ部品群４２２の機能について説明すると、図１０の例示において、「◎」ボタンは、遷移画像を含めて全てを公開に指定する機能を有し、「○」ボタンは、遷移画像は公開せずに現時点の画像についてのみ公開を指定する機能を有し、「×」ボタンは、遷移画像を含めて現時点の画像についても非公開を指定する機能を有する。なお、図１０に示す例示では、ログイン・パネルが表示される遷移画像（サムネイル画像４３２ｂに対応する。）が非公開「×」に明示的に設定されていることから、上記ＧＵＩ部品群４２２において全遷移画像の公開を指定する「◎」ボタンを不活性化してもよい。また、各差分領域に対する公開または非公開を指示する入力操作は、ＧＵＩ部品に対する操作に限定されるものではなく、例えば、同期ピリオド全体にわたり全差分領域の非公開または公開をワンアクションで決定するコマンドをショートカットキーとして割り当ててもよい。

ここで、再び図８を参照すると、ステップＳ１１５で、同期フラグの値が”真”であると判定された場合（ＹＥＳ）は、ステップＳ１１７へ処理が分岐される。ステップＳ１１７では、コンピュータ装置１１０は、差分領域リストＲ内の全要素が公開属性値または非公開属性値のいずれかを有しているか否かを判定する。ステップＳ１１７で、明示的な指示がまだ行われておらず、属性を有していない要素があると判定された場合（ＮＯ）は、ステップＳ１１８へ処理が分岐される。ステップＳ１１８では、コンピュータ装置１１０は、属性を有していない要素を取得し、ステップＳ１１３へ処理をループさせて、取得された要素（差分領域）について、非公開または公開の選択を行うためのＧＵＩ部品を再度表示させる。

なお、説明する実施形態では、属性を有していない要素があると判定された場合（ＮＯ）は、ステップＳ１１８でＧＵＩ部品を再度表示させるものとして説明するが、他の実施形態では、同期時フラグが立っている時に属性を有していない要素については、暗黙的に非公開が指示されたものとして扱い、ステップＳ１１９へ処理を進めることもできる。

一方、ステップＳ１１７で、差分領域リストＲ内の全要素が公開または非公開のいずれかの属性値を有すると判定された場合（ＹＥＳ）には、ステップＳ１１９へ処理が進められる。ステップＳ１１９では、コンピュータ装置１１０は、図９（Ａ）または（Ｂ）を参照して後述する同期処理を実行し、ステップＳ１２０で、非公開属性の要素のみを維持して差分領域リストＲを記憶装置に書き込む。このとき、差分領域にセットされた属性値をリセットする。

ステップＳ１２１では、コンピュータ装置１１０は、現時点の取得画像Ｌを同期画像Ｐ’として書き込み、ステップＳ１２２で本同期ピリオドの処理を終了させる。なお、非公開属性の差分領域については、そのまま差分領域として次の同期ピリオドに引き継がれるため、ステップＳ１２１では、取得画像Ｌに代えて、同期処理後の公開画像Ｐを同期画像Ｐ’として書き込んでもよい。図７および図８に示した処理は、同期ピリオド毎に行われ、したがって、本処理がステップＳ１２２で終了した後は、再びステップＳ１００から次の同期ピリオドについての処理が繰り返されることになる。

以下、図９（Ａ）および（Ｂ）を参照して同期処理について説明する。図９（Ａ）は、ダイジェスト表示が行われる場合の同期処理を示すフローチャートである。図９（Ａ）に示す処理は、図８に示したステップＳ１１９で呼び出されて、ステップＳ２００から開始される。ステップＳ２０１では、コンピュータ装置１１０は、遷移画像生成部１２２により、画像リストＳおよび差分領域リストＲを用いて、画像リストＳの蓄積画像から差分領域リストＲ内の上記公開属性値が付加された各要素に対応する部分の画像を取得して、遷移画像を生成する。このとき、最終的に公開指示が行われたことにより、公開属性が付加された差分領域であっても、過程において非公開が選択されたり、図１０に示した遷移画像表示エリア４３０等で非公開が設定されたりして、時系列に非公開属性がある場合は、対応する遷移画像は生成されない。

ステップＳ２０２〜ステップＳ２０６のループでは、画像リストＳ内の要素（蓄積画像）毎に、時系列順に、ステップＳ２０３〜ステップＳ２０５の処理を実行する。ステップＳ２０３では、コンピュータ装置１１０は、現在の公開画像Ｐにおける公開属性を有する要素に対応する各部分に各遷移画像を合成する。ステップＳ２０４では、コンピュータ装置１１０は、公開画面出力部１２０により、上記更新された画像を出力し、ステップＳ２０５で、コマ送りのインターバルを待つ。

ステップＳ２０２〜ステップＳ２０６のループにより、遷移画像を含む静止画のコマ送りとして、ダイジェスト表示が行われる。ステップＳ２０２〜ステップＳ２０６のループを抜けると、ステップＳ２０７では、コンピュータ装置１１０は、公開画面出力部１２０により、現在の公開画像Ｐにおいて、公開属性を有する要素に対応する各部分に、現在の取得画像Ｌの各対応する部分の画像を上書きして、最終的に非公開指定がなされた要素に対応する各部分をマスクまたは非更新とする。ステップＳ２０８では、コンピュータ装置１１０は、公開画面出力部１２０により、更新された公開画像Ｐを出力し、ステップＳ２０９で、本処理を終了し、図８に示す処理へ制御を戻す。

図９（Ｂ）は、ダイジェスト表示が行われない場合の同期処理を示すフローチャートである。図９（Ｂ）に示す処理は、同様に図８に示したステップＳ１１９で呼び出されて、ステップＳ３００から開始する。ステップＳ３０１では、コンピュータ装置１１０は、公開画面出力部１２０により、現在の公開画像Ｐにおいて、公開属性を有する要素に対応する各部分に、現在の取得画像Ｌの各対応する部分の画像を上書きして、最終的に非公開指定がされた要素に対応する各部分をマスクし、または非更新とする。ステップＳ３０２では、コンピュータ装置１１０は、公開画面出力部１２０により、更新された公開画像Ｐを出力し、ステップＳ３０３で、本処理を終了し、図８に示す処理へ制御を戻す。なお、上記ダイジェスト表示を行うか否かについては、例えば、画面出力制御ソフトウェアのユーザ設定として指定してもよい。

以下、図１１および図１２を参照して、指示受付画面について、より詳細に説明する。図１１および図１２は、本実施形態においてメインディスプレイ１４０に表示される指示受付画面の投影対象エリア４５０，４７０を例示する図である。図１０を参照して説明したように、本実施形態の指示受付画面４００は、抽出された各差分領域について、公開するか非公開とするかの指示を受け付けるＧＵＩ部品群４２２を含む。一方で、図１１に例示するように、多数の個別の差分領域群４５２ａ〜４５２ｆが抽出された場合には、差分領域ごとに指示を行わなければならないとすると、オペレータの作業負担が増加してしまう。

そこで、本実施形態では、図１１に示すように、指示受付画面４００には、一定数以上の差分領域が抽出された場合等のために、複数の差分領域に対する公開または非公開の指示を一括して受け付けるためのＧＵＩ部品と操作イベント処理とを設けてもよい。図１１に示す投影対象エリア４５０上には、差分領域群４５２ａ〜４５２ｆにおける各差分領域についてフレームおよび属性表示が配置されているが、さらに、選択開始ボタン４５４と、選択終了ボタン４５６とが設けられている。

図１１に示す選択開始ボタン４５４がクリックされると、一括した差分領域の選択操作の受け付けが開始される。オペレータは、マウスを用いて所望の差分領域を囲むように範囲選択を行うことにより、まとめて非公開または公開を指定する範囲４５８を指定することができる。図１１の例示では、差分領域群４５２ｄが囲まれて、選択範囲４５８として指定されている。選択範囲４５８が指定されると、ＧＵＩ部品群４６０が表示され、差分領域群４５２ｄ内の各差分領域について一括して公開または非公開を指定することが可能となる。上述した操作が繰り返された後、選択終了ボタン４５６がクリックされると、差分領域の公開または非公開の指定が終了する。

本実施形態では、さらに、図１２に示すように、指示受付画面４００には、一定数以上の差分領域が抽出された場合や、または一定の大きさ以下の差分が抽出された場合等のために、所定の結合条件に合致する複数の差分領域をまとめて視覚的に示し、これら複数の差分領域に対する公開または非公開の指示を一括して受け付けるＧＵＩ部品群を設けてもよい。上記結合条件は、例えば、距離が既定値以内など一定以上近接した差分領域を検出する条件とすることができる。あるいは、縦または横方向に隣接した差分領域を検出する条件としてもよい。図１２に示す例では、図１１に示した差分領域群４５２ａ，４５２ｂ，４５２ｃ，４５２ｄが、それぞれまとめられて、フレーム４７２ａ，４７２ｂ，４７２ｃ，４７２ｄと、公開または非公開の指示を受け付けるためのＧＵＩ部品群４７４ａ，４７４ｂ，４７４ｃ，４７４ｄとが表示されている。

また、抽出される差分領域には、ブラウザ上のＵＲＬ指定部分のように、定型的に表示箇所が推定できるものがあり、このような差分領域については、上述した既定領域検出部１３０により、オペレータからの指示を求めずに、非公開属性値または公開属性値を設定することができる。図１３（Ａ）は、ブラウザ画面４８０を例示する図であり、図１３（Ｂ）は、このようなブラウザに対して適用できるＵＲＬ指定部分４８２を特定する定義パターン４８６を例示する図である。

図１３（Ｂ）に示す定義パターン４８６は、親ウィンドウのウェブ・ブラウザの位置が変更されても、ＵＲＬ指定部分４８２を特定できるように、スクリーンではなくブラウザのウィンドウオブジェクト（もしくはハンドル）４８４に関連付けて、ウィンドウオブジェクト４８４の位置を原点とした相対位置で表すことができる。定義パターン４８６は、例えば、ウィンドウオブジェクトを取得するためターゲットとなるその領域固有のウィンドウ名やウィンドウＩＤ等、ｌｅｆｔ位置の最小値および最大値、ｔｏｐ位置の最小値および最大値、ｗｉｄｔｈの最小値および最大値、並びにｈｅｉｇｈｔの最小値および最大値を含むことができる。

既定領域検出部１３０は、差分領域リストＲ内の要素に対して、図１３（Ｂ）に示すような定義パターン４８６を適用し、要素が定義パターンにマッチする場合には、その要素を既定差分領域として検出し、そのマッチした定義パターンに対応付けられた既定属性値（公開属性値または非公開属性値）を付加することができる。なお、既定属性値の設定は、差分領域が検出された後にパターンマッチングにより行うこともできるが、差分領域が実際に抽出される前に、予めユーザ設定として、ＵＲＬ指定部分が表示されると予測される領域の座標情報と、既定属性値とを設定しておく態様としてもよい。

以下、本実施形態によるクライアントのハードウェア構成について説明する。図１５は、コンピュータ装置１１０のハードウェア構成の実施形態を示す。図１５に示すコンピュータ装置１１０は、概ねパーソナル・コンピュータまたはワークステーションなどの汎用コンピュータ装置として構成されている。図１５に示すコンピュータ装置１１０は、中央処理装置（ＣＰＵ）１２と、ＣＰＵ１２が使用するデータの高速アクセスを可能とするＬ１およびＬ２などのレベルを有するキャッシュ・メモリ１４と、ＣＰＵ１２の処理を可能とするＲＡＭ、ＤＲＡＭなどの固体メモリ素子から形成されるシステム・メモリ１６とを備えている。

ＣＰＵ１２、キャッシュ・メモリ１４、およびシステム・メモリ１６は、システム・バス１８を介して、ドライバ、グラフィックス・ボード２０およびネットワーク・アダプタ２２へと接続されている。グラフィックス・ボード２０は、バスを介してメインディスプレイ１４０に接続されて、ＣＰＵ１２による処理結果をディスプレイ画面上に表示させている。また、グラフィックス・ボード２０は、外部映像出力Ｉ／Ｆ３４に接続されており、外部映像出力Ｉ／Ｆ３４を介してコンピュータ装置１１０に接続される外部の映像出力装置（プロジェクタ）１５０に、ＣＰＵ１２による処理結果を表示させている。また、ネットワーク・アダプタ２２は、物理層レベルおよびリンク層レベルでコンピュータ装置１１０を、ＴＣＰ／ＩＰなどの適切な通信プロトコルを使用するネットワーク１０２を介してリモート端末１６０と接続可能としている。

システム・バス１８には、さらにＩ／Ｏバス・ブリッジ２６が接続されている。Ｉ／Ｏバス・ブリッジ２６の下流側には、ＰＣＩなどのＩ／Ｏバス２８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスク記憶装置３０が接続されている。また、Ｉ／Ｏバス２８には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置３２が接続されている。

コンピュータ装置１１０のＣＰＵ１２としては、いかなるシングルコア・プロセッサまたはマルチコア・プロセッサを用いることができ、ＷＩＮＤＯＷＳ（登録商標）ＸＰ、ＷＩＮＤＯＷＳ（登録商標）７、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などの適切なオペレーティング・システムにより制御される。なお、リモート端末１６０についても、図１５と同様なハードウェア構成により実現することができる。

上述した実施形態によれば、ローカル画像（第１画像）と、公開画像（第２画像）とにおける変更部分が検出されて、変更部分について行われる公開または非公開の指示に応じて、映像出力装置１５０に出力される公開画像が更新される。更新された公開画像では、公開する指示を受け付けた差分領域に対応するローカル画像の部分だけが公開画像に反映されている。したがって、公開の指示を受け付けてからローカル画像の部分が公開画像に反映されるため、公開が望ましくない情報の出力を事前に止めることが可能となる。また、更新部分が差分領域として検出されるので、マスク対象としたい箇所を予め特定しておくことが困難な場合にも好適に適用することができる。

以上説明したように、本発明の実施形態によれば、画面の変更部分を検出し、変更部分にかかる表示の公開または非公開の指定に応じて出力を行うことによって、情報の漏洩に配慮した画面出力が可能な情報処理装置、画面出力システム、画面出力制御方法およびプログラムを提供することができる。

なお、本実施形態による上記機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明を、特定の実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…映像投影システム、１０２…ネットワーク、１１０…コンピュータ装置、１１２…ローカル画像取得部、１１４…差分領域抽出部、１１６…ＵＩ表示部、１１８…指示入力部、１２０…公開画面出力部、１２２…遷移画像生成部、１２４…同期タイマ、１３０…既定領域検出部、１３２…指示画面配信部、１３４…指示受信部、１３６…指示受付部、１４０…メインディスプレイ、１５０…映像出力装置、１６０…リモート端末、２００，２２０，２４０，２６０，２８０…スナップショット、２０２…アドレスバー、２０４…文字列、２１０，２３０、２５０，２７０、２７２，２７４，２７６、２９０，２９２，２９４，２９６…領域、２２２…ドロップダウン・メニュー、２４２…候補アイテム、２６２…確定ＵＲＬ表示、２６４…タブ表示、２６６…ＵＲＬ表示、２６８…プログレス表示、２８４…トップページ、３０２，３０４，３１０，３１４，３１６，３２２…部分、３１２，３１８…領域、４００…指示受付画面、４１０，４５０，４７０…投影対象エリア、４１２…領域、４２０，４７２…フレーム、４２２，４３４，４６０，４７４…ＧＵＩ部品群、４３０…遷移画像表示エリア、４３２…サムネイル画像、４３６…属性表示、４５２…差分領域群、４５４…開始ボタン、４５６…終了ボタン、４５８…範囲、４８０…ブラウザ画面、４８２…ＵＲＬ指定部分、４８４…ウィンドウオブジェクト、４８６…定義パターン、４９０…画素領域、４９２，４９４，４９６…差分領域、４９８…併合後の差分領域、１２…ＣＰＵ、１４…キャッシュ・メモリ、１６…システム・メモリ、１８…システム・バス、２０…グラフィックス・ボード、２２…ネットワーク・アダプタ、２６…Ｉ／Ｏバス・ブリッジ、２８…Ｉ／Ｏバス、３０…ハードディスク装置、３２…入力装置、３４…外部映像出力Ｉ／Ｆ、Ｓ…画像リスト、Ｌ…取得画像、ｒ…差分領域集合、Ｒ…差分領域リスト、Ｓ…画像リスト、ｓ…蓄積画像、Ｐ…公開画像、Ｐ’…同期画像（公開画像）、Ｆ…同期フラグ

Claims (14)

1. 複数のディスプレイ出力を有する情報処理装置であって、
   第１ディスプレイに出力される第１画像を取得する画像取得部と、
   前記第１画像と、第２ディスプレイに出力される第２画像との差分領域を抽出する差分領域抽出部と、
   差分領域各々について、前記第２ディスプレイに出力するかの指示を受け付ける指示受付部と、
   出力する指示を受け付けた差分領域に対応する前記第１画像の部分を第２画像に反映して、更新された第２画像を前記第２ディスプレイへ出力する画像出力部と
   を含む、情報処理装置。
2. 前記画像取得部は、前記第１画像を複数時点で取得しており、前記画像出力部は、前記出力する指示を受け付けた差分領域に対応する前記第１画像の部分を時系列順に第２画像に反映して、更新された第２画像を順次前記第２ディスプレイへ出力する、請求項１に記載の情報処理装置。
3. 前記指示受付部は、前記出力するかの指示に応じて差分領域に対し公開属性または非公開属性を付加し、前記差分領域抽出部は、互いに重なる複数の差分領域を併合して、非公開属性を優先して引き継がせた１つの差分領域を生成する、請求項１または２に記載の情報処理装置。
4. 前記画像取得部は、前記第１画像を複数時点で取得しており、前記指示受付部は、前記出力するかの指示に応じて差分領域に対し公開属性または非公開属性を付加しており、前記差分領域抽出部は、互いに重なる複数の差分領域を併合して、非公開属性を優先して引き継がせた１つの差分領域を生成しており、前記画像出力部は、前記出力する指示を受け付けた差分領域に対応する前記第１画像の部分（非公開属性値が付されたものを除く。）を時系列順に第２画像に反映して、更新された第２画像を順次前記第２ディスプレイへ出力する、請求項１に記載の情報処理装置。
5. 予め出力するかの指示が指定される差分領域を特定するパターンを用いて、該パターンに適合する既定の差分領域を検出する既定差分領域検出部をさらに含む、請求項１に記載の情報処理装置。
6. 前記差分領域各々を視覚的に示し、前記出力するかの指示を受け付けるための画像部品が前記差分領域各々に関連付けて前記第１画像上に設けられた指示受付画面を前記第１ディスプレイに表示させる表示部をさらに含む、請求項１に記載の情報処理装置。
7. ネットワークを介して、前記指示受付画面を１以上の外部の情報処理装置に配信する画面配信部を含み、前記指示受付部は、前記外部の情報処理装置からの前記指示受付画面を介した前記出力するかの指示を受信する、請求項６に記載の情報処理装置。
8. 前記指示受付画面は、複数の差分領域に対する前記出力するかの指示を一括して受け付けるための画像部品および操作イベント処理を含む、請求項６に記載の情報処理装置。
9. 前記指示受付画面は、結合条件に合致する複数の差分領域をまとめて視覚的に示し、前記結合条件に合致する複数の差分領域に対する前記出力するかの指示を一括して受け付ける画像部品を含む、請求項６に記載の情報処理装置。
10. 前記差分領域は、前記第１画像と前記第２画像との画像が異なる部分を包含する最小の図形で表され、出力しない指示を受け付けた差分領域に対応する第２画像の部分は、マスク画像または更新前の画像とされる、請求項１に記載の情報処理装置。
11. 複数のディスプレイ出力を有する第１情報処理装置と、第２情報処理装置とを含む画面出力システムであって、前記第１情報処理装置は、
    第１ディスプレイに出力される第１画像を取得する画像取得部と、
    前記第１画像と、第２ディスプレイに出力される第２画像との差分領域を抽出する差分領域抽出部と、
    前記第２情報処理装置からネットワークを介して、および前記第１情報処理装置が備える入力装置からまたはいずれか一方から、差分領域各々について、前記第２ディスプレイに出力するかの指示を受け付ける指示受付部と、
    出力する指示を受け付けた差分領域に対応する前記第１画像の部分を第２画像に反映して、更新された第２画像を前記第２ディスプレイへ出力する画像出力部と
    を含む、画面出力システム。
12. 複数のディスプレイ出力を有する情報処理装置が実行する画面出力制御方法であって、
    前記情報処理装置が、第１ディスプレイに出力される第１画像を取得するステップと、
    前記情報処理装置が、前記第１画像と、第２ディスプレイに出力される第２画像との差分領域を抽出するステップと、
    前記情報処理装置が、差分領域各々について前記第２ディスプレイに出力するかの指示を受け付けるステップと、
    前記情報処理装置が、同期イベントに応答して、出力する指示を受け付けた差分領域に対応する前記第１画像の部分を第２画像に反映して、更新された第２画像を前記第２ディスプレイへ出力するステップと
    を含む、画面出力制御方法。
13. 前記第１画像を取得するステップおよび前記差分領域を抽出するステップは、所定間隔で繰り返されており、前記第２ディスプレイへ出力するステップは、時系列順に、前記出力する指示を受け付けた差分領域に対応する各時点の第１画像の部分を第２画像に反映して、更新された各時点の第２画像を前記第２ディスプレイへ出力するステップを含む、請求項１２に記載の画面出力制御方法。
14. 複数のディスプレイ出力を有する情報処理装置を実現するためのコンピュータ実行可能なプログラムであって、コンピュータを、
    第１ディスプレイに出力される第１画像を取得する画像取得部、
    前記第１画像と、第２ディスプレイに出力される第２画像との差分領域を抽出する差分領域抽出部、
    差分領域各々について、前記第２ディスプレイに出力するかの指示を受け付ける指示受付部、および
    出力する指示を受け付けた差分領域に対応する前記第１画像の部分を第２画像に反映して、更新された第２画像を前記第２ディスプレイへ出力する画像出力部
    として機能させるためのプログラム。