JP2008257424A - 端末監視方法、端末監視装置、及び端末監視プログラム - Google Patents

Abstract

【課題】監視対象となるウインドウが他のウインドウによって少なくとも部分的に隠されてしまうキャプチャ画像が発生しても、その監視が散漫にならないような改善を施した端末監視技術を提供する。
【解決手段】端末監視装置は、ウインドウ表示ログ情報から、マルチウインドウの重なり状態を規定する各ウインドウの属性値を読み取るウインドウ属性値読取部２４と、キャプチャ画像とウインドウ属性値をリンクするリンク部２６と、キャプチャ画像を再生する端末操作画面再生部２８とを備える。端末操作画面再生部は、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像を、この指定されたウインドウの全領域が表示されているキャプチャ画像によって置き換える。
【選択図】図３

Description

本発明は、監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視技術に関する。

遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像（モニタ画面）の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納されたキャプチャ画像を監視モニタに再現することで、ユーザによる端末の操作内容を監視することができるが、端末がマルチウインドウシステムを採用している場合で特定のウインドウにおける操作を監視したい場合、注目したいウインドウの少なくとも一部が他のウインドウに隠されているモニタ画面が続くと、その監視作業が散漫となる。また、瞬間的に特定のウインドウを最上位に配置させながら、その特定のウインドウを通じて不適切な行為を行っている場合には、格納されたキャプチャ画像を順次再生させていても、その不適切な行為を見つけ難いという問題も生じる。

操作の監視目的ではないが、作業性を高めるために、パーソナルコンピュータ上の業務毎のウインドウ状態（位置、サイズ、重なり合い）を業務毎に区別して保存し、ユーザが自由にそれを復元でき、異なる業務毎のウインドウの状態を容易に再構築できるマルチウインドウ表示制御装置が知られている（例えば、特許文献２参照）。このマルチウインドウ表示制御装置は、前記マルチウインドウ表示装置上のウインドウを制御する機能を有するウインドウ制御装置と、複数のウインドウの属性をひとまとめにして識別子により管理操作するウインドウ属性管理装置と、表示状態保存の操作入力により操作時点でウインドウ制御装置より得られるウインドウの状態を属性集合に変換して識別子を割り振ってウインドウ属性管理装置に登録するウインドウ属性登録装置と、表示状態復元の操作入力によりウインドウ属性管理装置に登録されている任意の時点でのまとめられた複数のウインドウ属性を用いてその時点のウインドウ表示状態を復元するウインドウ復元装置とを備えている。従って、ウインドウ属性登録装置でウインドウ属性集合に固有の識別子を割り振り、ウインドウ属性管理装置に登録し、ウインドウ復元装置によりユーザ（操作者）の希望するウインドウ状態のウインドウ属性集合をウインドウ属性管理装置より取得し、復元する処理を行うことで、ユーザが希望する任意の時点でのウインドウ状態を簡単に再構築することができる。しかしながら、このマルチウインドウ復元技術は、注目したいウインドウの少なくとも一部が他のウインドウに隠されているようなケースにおける上述した問題点の解決策には、何ら貢献しない。
特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７） 特開２００５−８４６９９号公報（段落番号０００３〜０００６、図１）

上記実状に鑑み、本発明の課題は、監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像を再生しながら、端末における不適切な操作を監視する際に、監視対象となる注目すべきウインドウが他のウインドウによって少なくとも部分的に隠されてしまうキャプチャ画像が発生しても、その監視が散漫にならないような改善を施した端末監視技術を提供することである。

監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視方法において、上記課題を解決する本発明による１つの方法では、前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るステップと、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするステップと、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生ステップとが備えられ、前記端末操作画面再生ステップにおいて、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの全領域が表示されているキャプチャ画像を差し替え画像として抽出するとともに、前記差し替え画像を前記指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて又は前記指定されたウインドウの領域を前記差し替え画像の対応領域で差し替えて表示する指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて、前記指定されたウインドウの全領域が表示されているキャプチャ画像が用いられる。

端末における不適切な操作等を監視するため、時系列的に連続表示される操作画面としてのキャプチャ画像に対して注目すべきウインドウに照準を合わせてチェックすることになる。その際、順次表示されていくキャプチャ画像には、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているものも含まれることがある。本発明の方法では、このような指定されたウインドウが最上位配置順位ではないため少なくとも部分的に他のウインドウによって隠れてしまっているキャプチャ画像は操作画面再生時には用いずに、それまでに取得されているキャプチャ画像のうちで指定されたウインドウが最上位配置順位であるか、あるいは最上位配置でなくともその全領域が表示されているキャプチャ画像が用いられるので、実際に監視用のモニタ画面に再生表示されるキャプチャ画像では、見かけ上は、常に指定されたウインドウが最上位に表示されているので、監視者の注意が散漫になる可能性が少なくなる。

指定されたウインドウが他のウインドウによって隠されているキャプチャ画像の代わりとなるキャプチャ画像では、指定されたウインドウが最上位配置順位であるか、あるいは最上位配置でなくともその全領域が表示されていることが条件となるが、この条件を満たすキャプチャ画像からさらに実際の差し替え用の代理キャプチャ画像を選ぶ方法もいくつか考えられる。その１つとして、前記指定されたウインドウが全領域表示となっている最新のキャプチャ画像を差し替え用のキャプチャ画像とすることが提案される。この方法では、監視者は、注目ウインドウがその全領域を表示していた最新の状態を注視することができる。他の１つとして、指定されたウインドウが全領域表示状態（ウインドウが最上位配置順位であるか、あるいは最上位配置でなくともその全領域が表示されている状態）となっているとともに最大化表示されているキャプチャ画像を差し替え用のキャプチャ画像とすることも提案される。この方法では、監視者は、注目ウインドウがその全領域を表示している最新のものが用いられるとは限らないが、最も見やすい最大化表示されたウインドウを監視者が注視できるという利点がある。さらに別な提案として、指定されたウインドウが画面拡大操作された直後のキャプチャ画像を差し替え用のキャプチャ画像とすることも可能である。この方法では、監視対象となっている端末の操作者が何らかの意図をもって注目ウインドウの画面を最大化表示でないにしても拡大操作した時の操作画面を注視できるという利点がある。

監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視方法において、上記課題を解決する本発明による他の１つの方法では、前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るステップと、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするステップと、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生ステップとが備えられ、前記端末操作画面再生ステップにおいて、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に代えて、この指定されたウインドウの他のウインドウによって隠されている領域を前記指定されたウインドウが全領域表示状態となっているキャプチャ画像における該当領域によって置き換えたキャプチャ画像が用いられる。

この方法では、先に述べた方法に較べ、代理に再生表示するキャプチャ画像として以前に注目ウインドウつまり指定されたウインドウが全領域表示状態となっているキャプチャ画像を単に採用するだけではなく、注目ウインドウの一部が他のウインドウによって隠されているキャプチャ画像における注目ウインドウの見えている領域（可視領域）だけは再生表示に生かすため、この可視領域の画像を切り出し、この切り出し画像を差し替えられるキャプチャ画像の該当領域に埋め込んで再生表示することで異なっている。これにより、注目ウインドウが全領域表示状態ではなく、他のウインドウによって隠されている領域が生じていても、そこに他のウインドウによって隠されていない可視領域が存在していれば、その領域の画像が表示再生されるので、指定されたウインドウを注視する監視者に対してより多くの情報を与えることができる。

本発明では、上述した端末監視方法を実施する端末監視装置も権利範囲としている。上記第１の端末監視方法を実施する端末監視装置では、取得したウインドウ表示ログ情報からマルチウインドウタイプの端末操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るウインドウ属性値読取部と、取得した端末操作画面のキャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするリンク部と、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生部とが備えられ、前記端末操作画面再生部は、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの全領域が表示されているキャプチャ画像を差し替え画像として抽出するとともに、前記差し替え画像を前記指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて又は前記指定されたウインドウの領域を前記差し替え画像の対応領域で差し替えて表示する。この端末監視装置では、上述したように、実際に監視用のモニタ画面に再生表示されるキャプチャ画像では、見かけ上は、常に指定されたウインドウが全領域表示状態となっているので、監視者の注意が散漫になる可能性が少なくなる。

また、上記第２の端末監視方法を実施する端末監視装置では、取得したウインドウ表示ログ情報からマルチウインドウタイプの端末操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るウインドウ属性値読取部と、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするリンク部と、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生部とが備えられ、前記端末操作画面再生部は、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に代えて、この指定されたウインドウの他のウインドウによって隠されている領域を前記指定されたウインドウの全領域が表示されているキャプチャ画像（指定ウインドウの全領域表示状態）における該当領域によって置き換えたキャプチャ画像を用いる。この端末監視装置では、上述したように、注目ウインドウが全領域表示状態ではなく、他のウインドウによって隠されている領域が生じていても、そこに他のウインドウによって隠されていない可視領域が存在していれば、その領域の画像が注目ウインドウの全領域表示状態の時の画像とともに表示再生されるので、指定されたウインドウを注視する監視者に対してより多くの情報を与えることができる。

なお、本発明による端末監視技術は、ネットワークに接続された多数の端末を同じくネットワークに接続された端末監視装置によって監視するネットワークシステムに用いられる場合、操作画面のキャプチャ画像とウインドウ表示ログ情報は端末からネットワークを介して端末監視装置に送られ、再生表示の目的で格納されることになる。また、この本発明による端末監視技術をスタンドアローン型の端末、つまりパソコンに適用することも可能である。この場合、自己の操作画面のキャプチャ画像とウインドウ表示ログ情報は、自己の格納装置に再生表示の目的で格納され、このパソコンに実装された端末監視モジュールによってその操作の様子をわかりやすい形態で表示することができるので、その監視が容易となる。

さらに、本発明では、上述した全ての端末管理技術をコンピュータに実現させるプログラムも権利範囲としている。

監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する、本発明による端末監視技術の基本原理を説明する。図１（ａ）には、端末の操作画面のキャプチャ画像とそのキャプチャ画像にリンクされているウインドウ属性値が時系列で示されている。この例では、操作画面に２つのウインドウＡとＢが表示されており、その各ウインドウに割り当てられた配置順位によって一方が他方の上にくるように、重ね合わせ表示される。ここではウインドウ属性値として配置順位だけが図示されているが、実際にはウインドウ属性値としてウインドウ生成元のアプリケーション名やウインドウ位置やウインドウサイズなどのデータもリンクされている。なお配置順位に関して、配置順位「１」が最上位配置を示すことにしている。キャプチャ画像の時系列並びはタイムスタンプに基づいているが、ここではタイムスタンプ値としてわかりやすいように、図で示しているような０００９６・・・００１００・・００１０３といった経時的順番を表す数値を用いているが、実際には日時コードデータである。また、各キャプチャ画像にリンクしているウインドウ属性値は端末操作画面に表示されているウインドウの状態を記述した、対応するタイムスタンプを有するウインドウ表示ログ情報から読み取ったものである。このようなキャプチャ画像はハードディスクのようなデータ格納デバイスに格納されており、必要に応じて順次読み出され、再生表示される。その際、端末監視のために、単純に、キャプチャ画像を経時的に再生する場合には、図１（ａ）に示されているように順次表示すればよい。しかしながら、特にウインドウＡを通じて行われている操作に注目する場合、ウインドウＡがウインドウＢによって隠されているシーンが続くと、監視者の注意力が散漫となる。このため、注目ウインドウとしてウインドウＡが指定され、例えばタイムスタンプ「００１００」から再生する場合、タイムスタンプ「００１００」を有するキャプチャ画像ではウインドウＡの配置順位がウインドウＢの配置順位より低くて、そのウインドウ位置とウインドウサイズに基づく演算からウインドウＡの一部領域がウインドウＢによって隠されていることが判明すると、さらにタイムスタンプをさかのぼってウインドウＡが最上位配置順位であるか、あるいは最上位配置でなくともその全領域が表示されているキャプチャ画像を差し替え画像として探し出し、この差し替え画像としてのキャプチャ画像（ここではタイムスタンプ「０００９９」を有するキャプチャ画像）をタイムスタンプ「００１００」を有するキャプチャ画像に代えて用いる。さらに、タイムスタンプ「００１０１」と「００１０２」のキャプチャ画像でもウインドウＡの一部領域がウインドウＢによって隠されているので、タイムスタンプ「０００９９」を有するキャプチャ画像で代理される。タイムスタンプ「００１０３」のキャプチャ画像では、ウインドウＡが全領域表示状態となっているので、そのキャプチャ画像がそのまま再生表示に用いられる。このような方法で、経時的に再生されるキャプチャ画像（操作画面）が図１（ｂ）に示されている。なお、差し替え画像としてのキャプチャ画像で表示すべきキャプチャ画像を差し替えるのではなく、差し替え画像における指定されたウインドウの領域だけを切り出して、タイムスタンプ「００１００」「００１０１」「００１０２」を有するキャプチャ画像の対応する領域に上描きして、表示してもよい。

なお、ウインドウＡの一部領域がウインドウＢによって隠されているキャプチャ画像の代わりとして、ウインドウＡが全領域表示状態となっているだけでなく、ウインドウＡが最大化表示されたキャプチャ画像が所定の時間範囲内で存在すれば、それを用いるようにしてもよい。図１（ａ）の例では、タイプスタンプ「０００９６」のキャプチャ画像が差し替え用のキャプチャ画像として用いられる。また、別な選択肢として、ウインドウＡが全領域表示状態となっているだけでなく、画像サイズの経時的な変動のチェックに基づいて検知されるウインドウＡが画面拡大操作されているキャプチャ画像が差し替え用のキャプチャ画像として用いられるようにしてもよい。

上記のキャプチャ画像再生方法は、最上位配置順位ではないウインドウ内、あるいはアクティブでないウインドウ内ではその表示内容が変化しない、例えばワープロソフトのウインドウのようなものであれば、全く問題がないが、最上位配置順位ではないウインドウ内においても時々刻々とその表示内容が変化する、例えば映像表示ウインドウのような場合、最上位配置順位ではないウインドウ内、つまり裏ウインドウ内で変化する表示内容を可能な限りチェックしたいという要望がでてくる。この要望を満たすための基本原理が図２に示されている。図２（ａ）には、図１（ａ）と同様に、端末の操作画面のキャプチャ画像とそのキャプチャ画像にリンクされているウインドウ属性値が時系列で示されているが、ここでは、ウインドウＡは、ウインドウＢによって部分的に隠されている場合でも、つまり全領域表示状態でない場合でも、そのウインドウ内の表示内容が時間的に変化している。この例においても、注目ウインドウとしてウインドウＡが指定され、例えばタイムスタンプ「００１００」から再生する場合、タイムスタンプ「００１００」を有するキャプチャ画像ではウインドウＡの配置順位がウインドウＢの配置順位より低くて、そのウインドウ位置とウインドウサイズに基づく演算からウインドウＡの一部領域がウインドウＢによって隠されていることが判明すると、さらにタイムスタンプをさかのぼってウインドウＡが全領域表示状態となっているキャプチャ画像を探し出し、このキャプチャ画像（ここではタイムスタンプ「０００９９」を有するキャプチャ画像）とタイムスタンプ「００１００」を有するキャプチャ画像とから実際の再生に用いるキャプチャ画像を以下のような画像処理を通じて作り出す。

つまり、タイムスタンプ「００１００」のキャプチャ画像において、ウインドウＡの、最上位配置順位（全領域表示状態）であるウインドウＢによって隠されている領域を、隠れ領域として、リンクしているウインドウ属性値であるウインドウ位置とウインドウサイズに基づいて算出する。この算出された隠れ領域を画像切り出し枠として、タイムスタンプ「０００９９」を有するキャプチャ画像、つまり差し替え用のキャプチャ画像に対して適用し、これによって切り出された画像を隠れ領域に上描きする。これにより、実際に表示されるキャプチャ画像では、ウインドウＡが最上位に配置されているとともに少なくとも部分的にはウインドウＡのその時点の実画像が組み込まれていることになる。さらに、タイムスタンプ「００１０１」と「００１０２」のキャプチャ画像でもウインドウＡの一部領域がウインドウＢによって隠されているので、それぞれ、同様の画像処理を施し、隠れ領域がタイムスタンプ「０００９９」を有するキャプチャ画像の該当領域で上描きされたキャプチャ画像で差し替えられて表示される。

続く、タイムスタンプ「００１０３」のキャプチャ画像では、ウインドウＡが最上位配置順位、つまり全領域表示状態となっているので、そのキャプチャ画像がそのまま再生表示に用いられる。このような方法で、経時的に再生されるキャプチャ画像（操作画面）が図２（ｂ）に示されている。このようにした再生されるキャプチャ画像では、注目ウインドウに関して本来は他の配置順位の高いウインドウによって隠されている領域でも、少なくとも以前に見えていた時の内容が、見かけ上の最上位配置順位（全領域表示状態）のウインドウとして表示される。

なお、上記画像処理とは異なる手法を用いることも可能である。この手法では、タイムスタンプ「００１００」のキャプチャ画像において、最上位配置順位（全領域表示状態）であるウインドウＢによって隠されていないウインドウＡの領域を、リンクしているウインドウ属性値であるウインドウ位置とウインドウサイズに基づいて算出して切り出し、この切り出した画像をタイムスタンプ「０００９９」を有するキャプチャ画像、つまり差し替え用のキャプチャ画像の同じ領域に上描きする。これにより、実際に表示されるキャプチャ画像では、ウインドウＡが最上位に配置されているとともに少なくとも部分的にはウインドウＡのその時点の実画像が組み込まれていることになる。さらに、タイムスタンプ「００１０１」と「００１０２」のキャプチャ画像でもウインドウＡの一部領域がウインドウＢによって隠されているので、それぞれ、「００１０１」と「００１０２」のキャプチャ画像におけるウインドウＢによって隠されていないウインドウＡの領域を用いた同様な上描きを施されたキャプチャ画像で差し替えられる。いずれの画像処理方法を用いても、指定された注目ウインドウが他のウインドウによって隠れている領域はそれ以前の表示されていた画像によって上描きされるので、見かけ上は、最上位配置順位にあるかのように、全領域が表示されることになる。

上述した、本発明による端末監視技術の基本原理を採用した端末監視システムの構成が図３に示されている。この端末監視システムでは、多数の端末１がネットワーク３を介して端末監視装置２と接続されている。端末１はマルチウインドウタイプのＯＳが実装されたパソコンであり、その操作画面はキャプチャされ、キャプチャ画像として随時端末監視装置２に送られます。端末監視装置２では、送られてきたキャプチャ画像を端末１毎にリアルタイムで、あるいは記録してから再生することで、端末で行われている操作を監視することができる。マルチウインドウを採用しているので操作画面（キャプチャ画像）には同時に複数のウインドウが表示されることになるが、端末監視装置側でそれらのウインドウを識別するため、端末１からキャプチャ画像とともに端末操作ログ情報の１つとしてキャプチャ画像がキャプチャされたタイミングでのウインドウの状態を記述するウインドウ表示ログ情報が送られる。端末監視装置２は、このウインドウ表示ログ情報から、端末１の操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位、さらにはウインドウを作り出したプログラム名（アプリケーション名）やそのウインドウ名、などの属性値を読み取る。

端末１はノート型パソコンやディスクトップ型パソコンなどの汎用パソコンで構成されているが、図３の機能ブロック図では、本発明に特に関係する機能だけを示している。端末１は、液晶ディスプレイなどのモニタ４１と、操作入力デバイス４２としてのキーボードやマウスと、各種データを格納する据え付けタイプのハードディスク４３やリムーバブルタイプの記録メディア（ＵＳＢメモリなど）４４を備えている。この端末１にインストールされているＯＳによって作り出されるＧＵＩ部１０が仲介することにより、モニタ４１に表示された操作画面を通じてユーザによって入力された種々の操作命令が実行される。各種ファイル処理を含むユーザ指示に基づくデータ処理はデータ処理部１１で行われる。なお、データ処理部１１には各種アプリケーションプログラムの起動や終了を管理しているプログラム管理部１１ａが付随している。一般には、起動したアプリケーションプログラムの要請によりＧＵＩ部が操作画面の構成要素となるウインドウを生成してモニタ４１に表示する。生成され、表示されたウインドウ内の表示内容は、アプリケーションプログラムによって異なるが、操作画面での配置が最上位となっている時だけ（例えばアクティブ化された場合）、書き換えられるものや、操作画面での配置が最上位となっていない時でも（例えば、部分的に他のウインドウによって隠されている時でも）その表示内容が書き換えられるものもある。

いずれにせよ、各種操作画面をモニタ４１に表示するため、これらの表示データは一時的にビデオメモリ１２に格納されるが、このビデオメモリ１２に展開されている表示データ、つまり操作画面は操作画面キャプチャ部１３で操作画面のキャプチャ画像としてキャプチャされる。また、ユーザが入力操作デバイス４２を通じて行う特定の操作は、操作ログ生成部１４において、操作実行プログラム名や操作対象データ名（ファイル名）や操作コマンド名などを列挙する形で記述され、操作ログ情報となる。この操作ログ生成部１４は、同時に操作画面に表示されているウインドウの状態を記述するウインドウ表示ログ情報も生成し、端末監視装置２へ送る操作ログ情報に含ませている。

通常、この端末１を利用するためには、まずユーザ名とパスワードの入力によってログインしなければならないがこのログイン処理を通じて得られたユーザ名は、ログイン・ログオフ制御部１５において、そのままで又は必要に応じてユーザＩＤ等に変換され、端末１を識別するための端末ＩＤとともに端末監視装置２に送られる。

操作ログ生成部１４によって生成されたウインドウ表示ログ情報を含む操作ログ情報や操作画面キャプチャ部１３によってキャプチャされたキャプチャ画像はネットワークＩＦを通じて、ネットワーク３でつながれた端末管理装置２に送られるが、端末監視装置２での管理を容易にするために操作ログとキャプチャ画像にタイムスタンプと端末ＩＤ（又はユーザＩＤ）とが付与される。

なお、ログイン・ログオフ制御部１５には、端末監視装置２がこのログインユーザ自体又はその特定の操作を不適切と判定した場合、警告情報や特定種類の操作イベントの実行を禁止するコマンドやこのユーザのログインを一定期間強制的にログオフするコマンドなどの端末操作制限コマンドが端末監視装置２から送られてくる。ログイン・ログオフ制御部１５は、警告情報を受け取るとこれをモニタ４１に表示し、特定種類の操作イベントの実行を禁止するコマンドを受け取ると、ＧＵＩ部１０に設定されている禁止操作テーブルに禁止された操作を書き込み、以後このユーザによる特定の操作は禁止される。また、強制ログオフコマンドを受け取ると、直ちに強制ログオフし、以後所定期間の間対象ユーザによるログインは禁止される。

端末監視装置２も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５１、操作入力デバイス５２としてキーボードやマウス、データを記録するハードディスクなどで構成されるデータ格納デバイス５３などが付属している。この端末監視装置２にインストールされているＯＳによってＧＵＩ部２０や端末１から送られてきたユーザＩＤや端末ＩＤで特定されるユーザや端末１を管理する端末管理部２１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置２における本発明に関する機能のほとんどは、この端末監視装置２にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたウインドウ表示ログ情報を含む操作ログ情報を取得する端末操作ログ取得部２２と、端末１から送られてきたキャプチャ画像を取得する端末キャプチャ画像取得部２３と、各端末１のウインドウ表示ログ情報からその操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るウインドウ属性値読取部２４と、取得されたキャプチャ画像を前記データ格納デバイス５３に設定されたキャプチャ画像格納部２７に抽出可能に格納するキャプチャ画像管理部２５と、タイムスタンプによって規定されるキャプチャ画像に対してこのキャプチャ画像に対応するウインドウ表示ログ情報から読み取られるウインドウの属性値をリンクするリンク部２６と、キャプチャ画像を時系列的に連続表示する端末操作画面再生部２８と、端末操作画面再生部２８によって使用されるキャプチャ画像に対して所定条件に基づく特定領域の切り出しや上描きなどの処理を施すキャプチャ画像処理部２９が挙げられる。なお、取得したウインドウ表示ログ情報を含む操作ログ情報は、データ格納デバイス５３に設定された不図示の操作ログ情報格納部に格納することができる。また、監視モニタ５１を通じての情報から、オペレータが不適切な操作が行われていると見なした端末１に対しては、オペレータの指示に従ってＧＵＩ部２０が端末管理部２１を介して警告情報や端末操作制限コマンドを与える。

リンク部２６によるキャプチャ画像と操作ログ情報とのリンク形態の一例が図４に示されている。ここでは、キャプチャ画像のキャプチャ時期とウインドウ状態を示すウインドウ属性値の時間的な一致性を確保するため、タイムスタンプが用いられているので、タイムスタンプを基点として、キャプチャ画像がリンクしている。さらに、キャプチャ画像には端末ＩＤがリンクするとともに、そのキャプチャ画像がキャプチャされている時点で起動しているアプリケーションの名称又はコード名がリンクしている。起動アプリケーションからは、各アプリケーションが生成して操作画面上に表示している表示ウインドウの名称又はコードがリンクしている。各表示ウインドウには、この表示ウインドウの属性値である、操作画面座標におけるウインドウの左上の座標値であるウインドウ位置、矩形であるウインドウの縦と横の長さであるウインドウサイズ、操作画面上に複数のウインドウが重なり合って表示される場合の表示優先度を規定する配置順位、ウインドウがアクティブ状態であるか非アクティブであるかを規定する利用状態、アクティブ状態でのみその表示内容が書き換えられるタイプであるかあるいは非アクティブ状態であってもその表示内容が書き換えられるタイプであるかを規定するウインドウタイプなどがリンクしている。

このリンク状態を評価することで、各キャプチャ画像に含まれているウインドウの数、最上位に位置しておりその全領域を表示しているウインドウ名やその位置とサイズ、下位の配置順位を有するウインドウにおけるより上位の配置順位をもつウインドウによって隠されている領域や隠されていない領域の特定などを、容易に算定することができる。

端末操作画面再生部２８は、端末操作ログ取得部２２や端末キャプチャ画像取得部２３で取得された端末１毎のキャプチャ画像や操作ログをデータ格納デバイス５３に記録する前に直接監視モニタ５１に表示するモードと、データ格納デバイス５３に記録されたキャプチャ画像や操作ログを監視モニタ５１に表示するモードを備えている。端末監視のために監視モニタ５１に表示される端末監視基本画面１００が図５に示されている。端末監視基本画面１００には、上部位置にキャプチャ画像（端末操作画面）再生ボタン１０１、ログ閲覧ボタン１０２、ＰＣ情報ボタン１０３、リモート制御ボタン１０４、アラート設定ボタン１０５等がアイコンの形で配置され、この基本画面１００の下部には端末別のキャプチャ画像表示領域１１０と、メッセージ表示部１１１と、端末一覧表示部１１２とが形成されている。キャプチャ画像表示領域１１０には、フレーム１２０で取り囲まれる形態でリアルタイムのキャプチャ画像としてのリアルタイム端末操作画面が複数マトリックス状に表示されており、このフレーム１２０の下部に端末名又は端末ＩＤを示す端末識別表示部１２１が配置されている。

この端末監視基本画面１００において、キャプチャ画像再生ボタン１０１が操作された場合には、その際に選択されている端末１のキャプチャ画像がデータ格納デバイス５３のキャプチャ画像格納部２７から読み出されながら別ウインドウで再生表示される。基本画面１００においてログ閲覧ボタン１０２が操作された場合には、別ウインドウで操作ログ一覧表示が行われる。基本画面１００においてＰＣ情報ボタン１０３が操作された場合には、選択された端末１の物理データやインストールされているアプリケーション名等のＰＣ情報を表示する処理が行われる。基本画面１００においてリモート制御ボタン１０４が操作された場合には、リモート制御画面において制御を実行するアイコン類を操作することや、コマンドを入力することにより個別端末のリモート制御が可能となる。

端末監視基本画面１００の各端末１に対応するフレーム１２０又は端末一覧表示部１１２に表示されている端末名をダブルクリックすることで、そのキャプチャ画像を表示しているフレーム１２０だけが拡大表示される。必要に応じて、同時にフレーム１２０に表示されているキャプチャ画像にリンクしているウインドウ属性値などの操作ログ情報を別の操作ログ表示ウインドウに表示させることも可能である。

キャプチャ画像再生ボタン１０１を操作することによって実行される端末別キャプチャ画像再生は図６に示す再生画面１４０を通じて行われる。なお通常は、画面再生ボタン１０１を操作する以前に端末監視基本画面１００の前記モニタ画面表示領域１１０又は端末一覧表示部１１２に表示されている端末１のモニタ画面（キャプチャ画像の縮小画像が用いられる）を選択することになるが、画面再生ボタン１０１を操作した際に、ダイアログボックス（図示せず）を表示し、端末１を特定する情報を入力操作デバイス５２から入力してもよい。この再生画面１４０は、注目ウインドウ選択部１４１と、再生開始日時入力部１４２と、再生終了日時入力部１４３と、ＯＫボタン１４４と、再生領域１４５と、複数の再生コントロールボタン１４６と、再生スライダー１４７、操作ログ情報表示ボタン１４８とを配置している。

再生画面１４０においてキャプチャ画像（操作画面）の連続再生表示を行う代表的なやり方は、再生開始日時入力部１４２においてキーボード等から再生開始日時を入力し、必要に応じて再生終了日時入力部１４３に再生終了時刻を入力した後にＯＫボタン１４４をクリックすることである。これにより、特定された端末１のキャプチャ画像がキャプチャ画像記録管理部２５によってキャプチャ画像格納部２７部から読み出され、再生領域１４５に順次時系列で表示される。その際、再生されているキャプチャ画像に表示されているウインドウのウインドウ名（タイトル）が注目ウインドウ選択部１４１に列挙されるので、注目したいウインドウ名をクリックすることで指定することができる。注目ウインドウとして指定されたウインドウは、上述したように、説明したように、実際はその配置順位が最上位でなく、少なくとも一部の領域が他のウインドウで隠されている場合でも、経時的に遡って注目ウインドウが最上位配置順位であるか、あるいは最上位配置でなくともその全領域が表示されている時点のキャプチャ画像を利用して見かけ上最上位配置順位であるかの如く表示される。また、注目ウインドウが、アクティブでなくても、あるいは最上位配置順位でなくても、そして全領域表示でなくても、その表示内容が書き換えられるタイプである場合、他の配置順位の高いウインドウによって隠されている領域を差し替え用のキャプチャ画像の対応する領域の画像で上描きして用いるか、あるいは、他の配置順位の高いウインドウによって隠されていない領域を差し替え用のキャプチャ画像に上描きしたものを用いる。これにより、実際に表示されるキャプチャ画像では、見かけ上、注目ウインドウが最上位に配置されているとともに少なくとも部分的には注目ウインドウのその時点の実画像が表示されることになる。

上述した端末監視装置２におけるキャプチャ画像の再生ルーチンを図７のフローチャートを用いて説明する。
キャプチャ画像（操作画面）再生がスタートすると、再生開始日時入力部１４２と再生終了日時入力部１４３とに入力された時間データを読み込む（＃０１）。再生開始日時を再生タイムスタンプ（変数）にセットする（＃０２）。再生タイムスタンプにセットされた値に一致するタイムスタンプを有するキャプチャ画像をキャプチャ画像格納部２７から抽出する（＃０３）。

抽出されたキャプチャ画像にリンクしているウインドウ表示属性値に基づいて注目ウインドウ選択部１４１に表示されているウインドウのいずれかが注目ウインドウとして指定されているかどうかがチェックされる（＃０４）。このとき、注目ウインドウ選択ルーチンを別に設けておき、オペレータが注目ウインドウを見つけ出しやすいように、抽出したキャプチャ画像を注目ウインドウ選択目的で再生領域１４５に表示しておくと便利である。注目ウインドウが指定されている場合（＃０４Yes分岐）、さらにステップ＃０３で抽出されたキャプチャ画像における注目ウインドウに他のウインドウによってその少なくとも一部が隠れている隠れ領域が存在しているかどうかがチェックされる（＃０５）。このチェックは、キャプチャ画像にリンクしているウインドウ位置と、ウインドウサイズと、配置順位から算定することができる。隠れ領域が存在している場合（＃０５Yes分岐）、現状の再生タイムスタンプより以前のタイムスタンプ値を有するキャプチャ画像で注目ウインドウが全領域表示状態となっているものを抽出する（＃０６）。

なお、ステップ＃０６の抽出ステップにおいて、指定された注目ウインドウの全領域が表示されている最新のキャプチャ画像に代えて、注目ウインドウの全領域が表示されているとともに最大化表示されているキャプチャ画像を抽出するやり方や、注目ウインドウが画面拡大操作された直後のキャプチャ画像を抽出するやり方を採用することも可能であり、予め任意に選択できるようにしてもよい。

さらに、キャプチャ画像にリンクされているウインドウタイプから、指定された注目ウインドウが非アクティブ状態でも表示内容を書き換えられる書き換えタイプであるかあるいは非アクティブ状態ではその表示内容が書き換えられない固定タイプかがチェックされる（＃０７）。注目ウインドウが書き換えタイプの場合、ステップ＃０３で抽出されたキャプチャ画像における注目ウインドウの隠れ領域の位置やサイズを算定する（＃０８）。次いで、ステップ＃０６で抽出されたキャプチャ画像における注目ウインドウの画像を切り出してステップ＃０８で算定された隠れ領域を上描きする（＃０９）。上描きされたキャプチャ画像が再生表示されるべきキャプチャ画像として端末操作画面再生部２８の再生用メモリに転送される（＃１０）。なお、ステップ＃０７のチェックで、注目ウインドウが固定タイプの場合、ステップ＃０６で抽出されたキャプチャ画像が再生表示されるべきキャプチャ画像として端末操作画面再生部２８の再生用メモリに転送される（＃１１）。また、ステップ＃０４のチェックで注目ウインドウの指定がなかった場合（＃０４No分岐）やステップ＃０５のチェックで隠れ領域が存在していなかった場合（＃０４No分岐）、そのままステップ＃０３で抽出されたキャプチャ画像が再生表示されるべきキャプチャ画像として端末操作画面再生部２８の再生用メモリに転送される（＃１２）。

再生用メモリに転送されたキャプチャ画像が再生領域１４５で再生表示される（＃１３）。再生終了日時のチェックや停止ボタンのチェックなどに基づいて再生を終了すべきかどうかがチェックされ（＃１４）、再生を終了すべき場合（＃１４Yes分岐）、このルーチンを終了する。再生を終了しない場合（＃１４No分岐）、再生タイムスタンプの値をインクリメントして（＃１５）、ステップ＃０３にジャンプして、次の再生キャプチャ画像の抽出を行う。

上述した実施形態では、多数の端末１におけるキャプチャ画像（操作画面）とウインドウ表示ログ情報がネットワーク３を介して端末監視装置２に送られ、その端末監視装置２の監視モニタ５１でキャプチャ画像が必要に応じて再生表示されていた。しかしながら、この端末監視装置２によるキャプチャ画像の再生機能、つまり、ウインドウ属性値読取部２４、リンク部２６、端末操作画面再生部２８、キャプチャ画像処理部２９といった機能をモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものを、スタンドアローン型のキャプチャ画像（操作画面）再生機能付き端末することができる。前述したサーバ・クライアント型の端末監視システムに較べ、ネットワーク３を介してのウインドウ表示ログ情報とキャプチャ画像（操作画面）の伝送がパソコンデータバスに置き換わっていることに違いがあるが、実質的な技術内容は同じである。

なお、本明細書で用いられているキャプチャ画像なる語句は、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視装置２に転送されるキャプチャ画像は静止画であっても動画であってもよい。動画の形式で端末１から端末監視装置２に転送される場合は、端末１のフォーマッター部に静止画を動画化する機能が備えられることになる。また、端末の操作画面（キャプチャ画面）を監視モニタ５１で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でもよいし、動画表示でもよく、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。さらに、キャプチャ画像格納部２７に記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合ＪＰＥＧやＧＩＦなどが、動画の場合ＭＰＥＧやＡＶＩなどが用いられる。

上述した実施形態では、端末監視装置１が単独のコンピュータによって構築されている形態で説明されていたが、この端末監視装置１の機能を区分けして、複数のコンピュータに分散させてもよい。例えば、端末監視装置１におけるデータ格納デバイス５３をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機からキャプチャ画像や操作ログ情報を読み出して種々の処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末とデータ格納専用機をネットワークで接続することで、いつでもどこからでも端末を監視することができる。

本発明によるキャプチャ画像再生の第１の原理を説明する模式図であり、（ａ）は実際に取り込まれたキャプチャ画像群を示し、（ｂ）は注目ウインドウを指定して再生されたキャプチャ画像を示している模式図 本発明によるキャプチャ画像再生の第２の原理を説明する模式図であり、（ａ）は実際に取り込まれたキャプチャ画像群を示し、（ｂ）は注目ウインドウを指定して再生されたキャプチャ画像を示している模式図 本発明による端末監視システムの一例を示すシステム構成図 キャプチャ画像とウインドウ属性値とのリンク関係を示す説明図 端末監視基本画面を示す図 再生画面を示す図 キャプチャ画像再生ルーチンを示すフローチャート

符号の説明

１：端末
２：端末監視装置
１３：操作画面キャプチャ部
１４：操作ログ生成部
２２：端末操作ログ取得部
２３：端末キャプチャ画像取得部
２４：ウインドウ属性値読取部
２５：キャプチャ画像管理部
２６：リンク部
２７：キャプチャ画像格納部
２８：端末操作画面再生部
２９：キャプチャ画像処理部
５１：監視モニタ
５３：データ格納デバイス

Claims (11)

1. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視方法において、
   前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るステップと、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするステップと、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生ステップとが備えられ、前記端末操作画面再生ステップにおいて、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの全領域が表示されているキャプチャ画像を差し替え画像として抽出するとともに、前記差し替え画像を前記指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて又は前記指定されたウインドウの領域を前記差し替え画像の対応領域で差し替えて表示することを特徴とする端末監視方法。
2. 前記差し替え画像は、前記指定されたウインドウの全領域が表示されている最新のキャプチャ画像であることを特徴とする請求項１に記載の端末監視方法。
3. 前記差し替え画像は、前記指定されたウインドウの全領域が表示されているとともに最大化表示されているキャプチャ画像であることを特徴とする請求項１に記載の端末監視方法。
4. 前記差し替え画像は、前記指定されたウインドウが画面拡大操作された直後のキャプチャ画像であることを特徴とする請求項１に記載の端末監視方法。
5. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視方法において、
   前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るステップと、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするステップと、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生ステップとが備えられ、前記端末操作画面再生ステップにおいて、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に代えて、この指定されたウインドウの他のウインドウによって隠されている領域を前記指定されたウインドウの全領域が表示されているキャプチャ画像における該当領域によって置き換えたキャプチャ画像が用いられることを特徴とする端末監視方法。
6. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを取得する端末監視装置において、
   前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るウインドウ属性値読取部と、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするリンク部と、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生部とが備えられ、前記端末操作画面再生部は、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの全領域が表示されているキャプチャ画像を差し替え画像として抽出するとともに、前記差し替え画像を前記指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて又は前記指定されたウインドウの領域を前記差し替え画像の対応領域で差し替えて表示することを特徴とする端末監視装置。
7. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを取得する端末監視装置において、
   前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取るウインドウ属性値読取部と、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクするリンク部と、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生部とが備えられ、前記端末操作画面再生部は、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に代えて、この指定されたウインドウの他のウインドウによって隠されている領域を前記指定されたウインドウの全領域が表示されているキャプチャ画像における該当領域によって置き換えたキャプチャ画像を用いることを特徴とする端末監視装置。
8. 前記端末とネットワークを介して接続されていることを特徴とする請求項６又は７に記載の端末監視装置。
9. この端末監視装置は前記端末に組み込まれていることを特徴とする請求項６又は７に記載の端末監視装置。
10. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視プログラムにおいて、
    前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取る機能と、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクする機能と、前記キャプチャ画像を時系列的に連続表示する機能と、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの全領域が表示されているキャプチャ画像を差し替え画像として抽出するとともに、前記差し替え画像を前記指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に差し替えて又は前記指定されたウインドウの領域を前記差し替え画像の対応領域で差し替える機能とをコンピュータに実現させることを特徴とする端末監視プログラム。
11. 監視対象となっている端末のマルチウインドウタイプの操作画面をキャプチャして得られたキャプチャ画像と、前記操作画面に表示されているウインドウのウインドウ表示ログ情報とを用いて前記端末の操作を監視する端末監視プログラムにおいて、
    前記ウインドウ表示ログ情報から前記操作画面におけるウインドウの重なり状態を規定するウインドウ位置とウインドウサイズと配置順位を含む各ウインドウの属性値を読み取る機能と、前記キャプチャ画像とこのキャプチャ画像に表示されているウインドウの属性値をリンクする機能と、前記キャプチャ画像を時系列的に連続表示する端末操作画面再生機能と、前記キャプチャ画像を時系列的に連続表示する際に、指定されたウインドウの少なくとも一部が他のウインドウによって隠されているキャプチャ画像に代えて、この指定されたウインドウの他のウインドウによって隠されている領域を前記指定されたウインドウの全領域が表示されているキャプチャ画像における該当領域によって置き換えたキャプチャ画像を生成する機能とをコンピュータに実現させることを特徴とする端末監視プログラム。

Images