JP2009294701A - Operation content reproduction system and operation content reproduction program - Google Patents
Operation content reproduction system and operation content reproduction program Download PDFInfo
- Publication number
- JP2009294701A JP2009294701A JP2008144734A JP2008144734A JP2009294701A JP 2009294701 A JP2009294701 A JP 2009294701A JP 2008144734 A JP2008144734 A JP 2008144734A JP 2008144734 A JP2008144734 A JP 2008144734A JP 2009294701 A JP2009294701 A JP 2009294701A
- Authority
- JP
- Japan
- Prior art keywords
- information
- log information
- operation log
- image
- subsequent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007704 transition Effects 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013508 migration Methods 0.000 claims description 38
- 230000005012 migration Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008929 regeneration Effects 0.000 description 5
- 238000011069 regeneration method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作を表す操作ログ情報とを取得し、前記操作画像の再生を行う操作内容再生技術に関する。 The present invention relates to an operation content reproduction technique for acquiring an operation image obtained by capturing an operation screen on a terminal and operation log information representing an operation on the terminal and reproducing the operation image.
従来、ネットワークにより接続される端末を監視するために種々の検討が行われている。例えば、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものがある（特許文献１参照）。このシステムでは、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができる。 Conventionally, various studies have been made to monitor terminals connected via a network. For example, in a system in which a remote control server and a client terminal are connected via a communication network, when the operator remotely operates the terminal, the client terminal transmits a monitor screen displayed on the monitor to the remote control server. Then, the received monitor screen is displayed on the monitor, and the captured image recording means of the remote control server records the monitor screen of the client terminal as a captured image (operation image) in the operation event log at a predetermined interval. There is another type in which a log reproduction processing unit of a remote control server reproduces a captured image recorded in an operation event log (see Patent Document 1). In this system, it is possible to monitor the operation content of the terminal by the user by reproducing the operation image stored in the data storage unit on the monitoring monitor.
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズ（合成）して表示する技術が知られている（特許文献２参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。 Furthermore, in order to visually confirm the user operation on the image, the time position and spatial coordinate data in the video when the user clicks on a specific subject in the video is saved as a click operation event log, and the video is being played back In addition, a technique for superimposing (synthesizing) and displaying the click operation event log is known (see Patent Document 2). With this technique, it is possible to visually confirm a click operation such as what scene the user clicked at the time of reproduction.
端末の操作画像を再生して端末の操作内容を確認する技術においては、管理者の負担を増大させることなく、効果的に操作内容を把握する必要がある。 In the technology for reproducing the operation image of the terminal and confirming the operation content of the terminal, it is necessary to effectively grasp the operation content without increasing the burden on the administrator.
しかしながら、特許文献１の技術では、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となり、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
However, in the technique of
また、特許文献２の技術では、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しており、管理者が操作内容を把握するための情報を提供可能ではあるが、再生時にユーザの操作を事前に把握することができないため、管理者は常に再生される画面を注視しなければならず、管理者の負担は大きいものとなっている。
Further, in the technique of
上記実状に鑑み、本発明の課題は、端末における操作画像を再生することにより、端末における操作を効果的に把握する技術を提供することである。 In view of the above situation, an object of the present invention is to provide a technique for effectively grasping an operation on a terminal by reproducing an operation image on the terminal.
前記課題を解決するために、本発明の操作内容再生システムは、端末における操作画面を再生する操作内容再生システムにおいて、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、前記端末における操作ログ情報を記録する操作ログ情報記録部と、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部と、を備えている。 In order to solve the above problems, the operation content reproduction system of the present invention records operation image information including an operation image obtained by capturing the operation screen on the terminal in the operation content reproduction system for reproducing the operation screen on the terminal. An operation image information recording unit for recording, an operation log information recording unit for recording operation log information in the terminal, and detecting a specific preceding operation and recording operation log information as operation log information of the preceding operation. A previous operation log information acquisition unit acquired from the operation unit, and subsequent operation log information which is operation log information of a subsequent operation following the previous operation from the operation log information recording unit based on the previous operation log information and the extraction condition A subsequent operation log information acquisition unit for generating operation transition information based on the preceding operation log information and the subsequent operation log information A line information creation unit, and a reproduction image creation unit that obtains operation image information corresponding to the preceding operation log information from the operation image information recording unit and creates a reproduction image based on the transition information and the acquired operation image information And.
本構成により、特定操作が検出された際には、その特定操作に関連する操作画像と移行情報とから再生画像が生成されるため、管理者は特定操作以降にどのような操作が実行されるかを予め把握することができるため、常に再生画像を注視せずとも、容易に端末における操作の内容を把握することができる。 With this configuration, when a specific operation is detected, a reproduction image is generated from the operation image related to the specific operation and the transition information, and therefore, the administrator performs any operation after the specific operation. Since it is possible to grasp in advance, it is possible to easily grasp the content of the operation on the terminal without always paying attention to the reproduced image.
このような操作内容再生システムでは、時々刻々の操作画像が再生表示されており、効果的に操作内容を把握するためには、表示されている操作画像において移行情報が確認できることが望ましい。そのため、本発明の好適な実施形態の一つでは、表示する操作画像の日時情報に対応する操作ログ情報を先行操作ログ情報としている。 In such an operation content reproduction system, operation images are reproduced and displayed from moment to moment, and it is desirable that the transition information can be confirmed in the displayed operation image in order to effectively grasp the operation content. Therefore, in one preferred embodiment of the present invention, the operation log information corresponding to the date / time information of the operation image to be displayed is used as the preceding operation log information.
上述した本発明による操作内容再生システムの技術的特徴は、同様の操作内容再生プログラムにも適用可能である。例えば、端末における操作ログ情報を記録する操作ログ情報記録部と、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部とを備え、前記端末における操作画面を再生する操作内容再生システムのための操作内容再生プログラムにおいて、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる。当然ながら、このような操作内容再生プログラムも上述した操作内容再生システムで述べた作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。 The technical features of the operation content reproduction system according to the present invention described above can also be applied to similar operation content reproduction programs. For example, an operation log information recording unit that records operation log information in the terminal, and an operation image information recording unit that records operation image information including an operation image obtained by capturing an operation screen in the terminal, In an operation content reproduction program for an operation content reproduction system for reproducing an operation screen, a preceding operation log information acquisition function for detecting a specific preceding operation and acquiring preceding operation log information which is operation log information of the preceding operation; A subsequent operation log information acquisition function for acquiring subsequent operation log information that is operation log information of a subsequent operation following the preceding operation based on the preceding operation log information and the extraction condition; the preceding operation log information and the subsequent operation log A migration information creation function for creating operation migration information based on information, and an operation image corresponding to the preceding operation log information Gets the broadcast, is realized on the computer and reproduced image generating function of generating a reproduced image based on the transition information and the acquired operation image information. Naturally, such an operation content reproduction program can also obtain the effects described in the operation content reproduction system described above, and can further incorporate the above-described additional technology.
〔第１実施形態〕
以下、図面を用いて本発明の第１実施形態を説明する。本発明の画像表示システムは、図１に示すように、複数の端末Ｃが通信ネットワーク（以下、ネットワークと称する）Ｎを介して、管理サーバＳと接続されている。前記ネットワークＮは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、ＬＡＮスイッチやハブ等でなる中継機器を備えたＣＳＭＡ／ＣＤ（Carrier Sense Multiple Access with Collision Detection）方式のイーサネット（Ethernet）（商標）型のＬＡＮとして構成されたものであるが、このネットワークＮとしてイーサネット型のＬＡＮ以外に、インターネットの技術を用いたイントラネットで構築されたものや、ＷＡＮ（Wide Area Network）の技術によって構築されるものでも良い。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. In the image display system of the present invention, as shown in FIG. 1, a plurality of terminals C are connected to a management server S via a communication network (hereinafter referred to as a network) N. The network N is a CSMA / CD (Carrier Sense Multiple Access with Collision Detection) system including a cable for physically transmitting information in a limited facility such as a company or a school, and a relay device such as a LAN switch or a hub. Ethernet (trademark) type LAN, but this network N is constructed by an intranet using the Internet technology in addition to the Ethernet type LAN, or WAN (Wide Area Network) ).
管理サーバＳは、汎用コンピュータ１で構成されており、ディスプレイ２、入力機器３（キーボード３ａ、マウス３ｂ）を備えている。また、端末Ｃは、コンピュータ本体４で構成されており、ディスプレイ５、および入力機器６（キーボード６ａ、マウス６ｂ）が接続されている。
The management server S includes a general-
図２は、本発明の操作内容再生システムを構成する管理サーバＳと端末Ｃの機能ブロック図を示している。端末Ｃは、ネットワークＮを介して管理サーバＳおよび他の端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ１０、端末Ｃにおける様々な操作を表す操作ログ情報を生成し、管理サーバＳに送信する操作ログ情報生成部１１、端末Ｃにおける操作画面をキャプチャして得られる操作画像を含む操作画像情報を生成し、管理サーバＳに送信する操作画像情報生成部１２および、入力機器６からの入力を取得すると共にディスプレイ５との入出力を行うＧＵＩ部１３を備えている。
FIG. 2 shows a functional block diagram of the management server S and terminal C constituting the operation content reproduction system of the present invention. The terminal C generates operation log information representing various operations in the network I /
通常、操作ログ情報生成部１１および操作画像情報生成部１２は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
Normally, the operation log
なお、本実施形態において、操作ログ情報には、操作内容、ユーザ識別情報、端末識別情報、操作対象情報、日時情報および環境情報が含まれている。なお、操作対象情報には、操作を実行するアプリケーション名、操作対象となるファイル等の名称（以下、ファイル名と総称する）、操作対象となるアイコンの位置やマウス操作の位置、操作を実行するアプリケーションのウィンドウ位置を表す位置情報等が含まれており、環境情報とは、端末Ｃにおける様々な設定や環境であり、例えば、ＵＳＢメモリの使用の有無等である。また、ユーザ識別情報は、ユーザを一意に特定可能な情報であり、ユーザ名、ユーザ毎に排他的に割り振られた固有の番号等を用いることができ、端末識別情報は、端末Ｃを一意に特定可能な情報であり、端末名、ＩＰアドレス、ＭＡＣアドレス、端末毎に排他的に割り振られた固有の番号等を用いることができる。 In the present embodiment, the operation log information includes operation contents, user identification information, terminal identification information, operation target information, date information, and environment information. The operation target information includes the name of the application that performs the operation, the name of the file to be operated (hereinafter collectively referred to as a file name), the position of the icon to be operated, the position of the mouse operation, and the operation. Position information indicating the window position of the application is included, and the environment information is various settings and environments in the terminal C, for example, whether or not the USB memory is used. The user identification information is information that can uniquely identify the user, and a user name, a unique number assigned exclusively to each user, or the like can be used. The terminal identification information uniquely identifies the terminal C. This is identifiable information such as a terminal name, an IP address, a MAC address, and a unique number assigned exclusively to each terminal.
一方、本実施形態における操作画像情報には、端末Ｃの操作画面をキャプチャして得られる操作画像、端末識別情報、ユーザ識別情報および日時情報が含まれている。上述の各種情報は、これらに限定されるものではなく、本発明の目的を達する限りにおいて、他の情報を用いても構わない。 On the other hand, the operation image information in the present embodiment includes an operation image obtained by capturing an operation screen of the terminal C, terminal identification information, user identification information, and date / time information. The various information described above is not limited to these, and other information may be used as long as the object of the present invention is achieved.
操作ログ情報生成部１１は、端末Ｃにおける様々な操作を表す情報を所定のタイミングで生成している。本実施形態では、所定のタイミングは、所定の操作が行われたタイミングおよび一定間隔毎を表すが、これに限定されるものではなく、他のタイミングを用いても構わない。生成された操作ログ情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作ログ情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作ログ情報を蓄積した後、それらをまとめて送信しても構わない。
The operation log
操作画像情報生成部１２は、所定の時間間隔で端末Ｃのディスプレイ５に表示されている操作画面をＧＵＩ部１３を介してキャプチャし操作画像を取得すると共に、その操作画像を含む操作画像情報を生成する。なお、操作画像情報の生成のタイミングは、これに限定されるものではなく、他のタイミングであって構わず、操作ログ情報の生成タイミングと同期的／非同期的であって構わない。生成された操作画像情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作画像情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作画像情報を蓄積した後、それらをまとめて送信しても構わない。
The operation image
管理サーバＳは、ネットワークＮを介して端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ２０、端末Ｃから送信される操作ログ情報を取得し、保存管理する操作ログ情報記録部２１、端末Ｃから送信される操作画像情報を取得し、保存管理する操作画像情報記録部２２、先行操作を検知し、その先行操作の操作ログ情報を前記操作ログ情報記録部２１から取得する先行操作ログ情報取得部２３、取得された先行操作ログ情報と所定の抽出条件に基づき先行操作に後続する後続操作に係る後続操作ログ情報を操作ログ情報記録部２１から取得する後続操作ログ情報取得部２４、先行操作ログ情報と後続操作ログ情報とから操作の移行情報を作成する移行情報作成部２５、先行操作ログ情報に対応する操作画像情報を操作画像情報記録部２２から取得し、取得した操作画像情報と移行情報とに基づいて再生画像を作成する再生画像作成部２６、再生画像作成部２７により作成された再生画像を表示する画像表示部２７、および、入力機器３からの入力を取得すると共にディスプレイ２との入出力を制御するＧＵＩ部３０を備えている。
The management server S is a network I /
通常、操作ログ情報記録部２１、操作画像情報記録部２２、先行操作情報取得部２３、後続操作ログ情報取得部２４、移行情報作成部２５、再生画像作成部２６および画像表示部２７は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
Usually, the operation log
操作ログ情報記録部２１および操作画像情報記録部２２は、それぞれ、端末Ｃから送信される操作ログ情報および操作画像情報をネットワークＩ／Ｆ２０を介して取得し、記録管理している。
The operation log
先行操作ログ情報取得部２３は、操作画像情報記録部２２から操作画像情報を取得し、取得した操作画像情報に対応する操作ログ情報の有無を判定すると共に、取得した操作画像情報に対応する操作ログ情報が存在すると判定した際に、さらに、その操作ログ情報が先行操作に係るものであるか否かを判定し、先行操作にかかる操作ログ情報であると判定すると、その操作ログ情報を先行操作ログ情報として取得する。なお、本実施形態において、先行操作とは所定の操作であり、ファイルのコピーや削除等、様々な操作を所定操作とすることができる。取得した先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
The preceding operation log
後続操作ログ情報取得部２４は、先行操作ログ情報取得部２３により取得された先行操作ログ情報と所定の抽出条件とに基づき、先行操作に後続する後続操作の操作ログ情報（以下、後続操作ログ情報と称する）を操作ログ情報記録部２１から取得する。具体的には、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報であり、所定の抽出条件を充足する操作ログ情報を操作ログ情報記録部２１から取得する。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
The subsequent operation log
移行情報作成部２５は、先行操作ログ情報取得部２３により取得された先行操作ログ情報および後続操作ログ情報取得部２４により取得された後続操作ログ情報に基づき移行情報を作成する。本実施形態における移行情報とは、先行操作における状態から後続操作における状態への移行を示す情報である。例えば、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間、後続操作のリスクを表す情報、後続操作の操作方法を表す情報等を用いることができる。当然ながら、本発明の目的を達する限りにおいて、移行情報は適宜変更可能である。なお、作成された移行情報は、先行操作ログ情報と共に再生画像作成部２６に送られる。
The migration
再生画像作成部２６は、先行操作ログ情報取得部２３により取得された先行操作ログ情報に対応する操作画像情報を先行操作ログ情報取得部２３から取得し、取得した操作画像情報と移行情報作成部２５により作成された移行情報とに基づき再生画像を作成する。なお、操作ログ情報と操作画像情報との対応付けは、各々の端末識別情報および日時情報に基づき行われる。作成された再生画像は画像表示部２７に送られ、ＧＵＩ部３０を介して、管理サーバＳのディスプレイ２に表示される。
The reproduction
次に、図３のフローチャートを用いて、本実施形態の具体的な処理の流れを説明する。なお、本実施例における特定操作とは、ファイルを開く操作、ファイルの選択操作とし、以下に説明する処理に先立ち、各端末Ｃから管理サーバＳに対して操作ログ情報および操作画像情報が送信され、管理サーバＳの操作ログ情報記録部２１および操作画像情報記録部２２に記録されているものとする。
Next, a specific processing flow of the present embodiment will be described with reference to the flowchart of FIG. The specific operation in this embodiment is an operation for opening a file or a file selection operation. Prior to the processing described below, operation log information and operation image information are transmitted from each terminal C to the management server S. It is assumed that they are recorded in the operation log
このときの、操作ログ情報と操作画像情報の例を図４に示す。図は、上から下に向かって時系列順に整列した操作ログ情報と操作画像情報を示しており、操作ログ情報にはOperation001等の名称を、操作画像情報にはImage001等の名称を付している。なお、この図に示される操作ログ情報および操作画像情報は一の端末Ｃのものであり、端末識別情報等の表示は省略している。また、操作ログ情報の右の欄は、操作ログ情報に含まれる操作内容および環境情報を示しており、同行の操作画像情報と操作ログ情報とは対応するものとする。本実施形態においては、操作画像情報と操作ログ情報の日時情報が一致もしくはそれらの差が所定値以下である場合に、その操作ログ情報と操作画像情報とは対応するものとする。 An example of operation log information and operation image information at this time is shown in FIG. The figure shows operation log information and operation image information arranged in chronological order from the top to the bottom. The operation log information has a name such as Operation001, and the operation image information has a name such as Image001. Yes. Note that the operation log information and operation image information shown in this figure are for one terminal C, and display of terminal identification information and the like is omitted. The right column of the operation log information indicates the operation content and environment information included in the operation log information, and the operation image information and the operation log information on the same line correspond to each other. In the present embodiment, when the date and time information of the operation image information and the operation log information match or the difference between them is equal to or less than a predetermined value, the operation log information and the operation image information correspond to each other.
まず、管理者は入力機器３を操作することにより、ＧＵＩ部３０を介して管理サーバＳに対して操作内容の再生を開始する旨を指示すると、以下の処理が開始される。このとき、再生を実行する開始日時および終了日時も合わせて指示する。
First, when the administrator operates the
通常の再生状態では、先行操作ログ情報取得部２３は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を順次取得し、取得した操作画像情報を画像表示部２７に送り、画像表示部２７は、操作画像情報に含まれる操作画像を順次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
In the normal reproduction state, the preceding operation log
上述の再生動作と同時に、先行操作ログ情報取得部２３は取得した操作画像情報に対応する操作ログ情報が操作ログ情報記録部２１に存在するか否かを判定する（＃０２）。図４の例で、先行操作ログ情報取得部２３によりImage000の操作画像情報が取得された場合には、操作画像情報Image000に対応する操作ログ情報は存在しないと判定される（＃０２のNo分岐）。
Simultaneously with the above reproduction operation, the preceding operation log
この場合には、先行操作ログ情報取得部２３から画像表示部２７に対して、取得した操作画像情報に対応する操作ログ情報が存在しない旨が通知され、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image000に含まれる操作画像をディスプレイ２に表示する(図５（ａ）参照)。
In this case, the preceding operation log
一方、先行操作ログ情報取得部２３により操作画像情報Image001が取得された場合（＃０１）には、対応する操作ログ情報Operation000が存在すると判定される（＃０２のYes分岐）。 On the other hand, when the operation image information Image001 is acquired by the preceding operation log information acquisition unit 23 (# 01), it is determined that the corresponding operation log information Operation000 exists (Yes branch of # 02).
次に、先行操作ログ情報取得部２３は、取得した操作画像情報に対応する操作ログ情報が特定操作に係る操作ログ情報であるか否かを判定し（＃０３）、特定操作の操作ログ情報であると判定した場合（＃０３のYes分岐）には、その操作ログ情報を先行操作ログ情報として取得する（＃０４）。上述の操作画像情報としてImage001が取得された場合には、先行操作ログ情報取得部２３により、操作ログ情報Operation000の操作内容が特定操作であるか否かが判定される。この場合には、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリ装着”であるため、特定操作でないと判定される（＃０３のNo分岐）。
Next, the preceding operation log
先行操作ログ情報取得部２３は、対応する操作ログ情報が先行操作ログ情報でない旨を、画像表示部２７に通知し、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image001に含まれる操作画像をディスプレイ２に表示する。
The preceding operation log
一方、先行操作ログ情報取得部２３によりImage002が取得された場合（＃０１）には、対応する操作ログ情報Operation001が存在し（＃０２のYes分岐）、その操作内容が“ファイルＡをアプリケーションＷで開く”であり、特定操作である（＃０３のYes分岐）ため、操作ログ情報Operation001は、先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
On the other hand, when Image002 is acquired by the preceding operation log information acquisition unit 23 (# 01), the corresponding operation log information Operation001 exists (Yes branch of # 02), and the operation content is “file A as application W. The operation log information Operation001 is acquired as the preceding operation log information (# 04), and the subsequent operation log
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃０５）。具体的には、後続操作ログ情報取得部２４は、操作ログ情報記録部２１に記録されている操作ログ情報のうち先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、所定の条件を充足する操作ログ情報を後続操作ログ情報として取得する。取得された後続操作ログ情報は、移行情報作成部２５に送られる。
The subsequent operation log
先行操作ログ情報として操作ログ情報Operation001を取得した場合には、操作ログ情報Operation001と同一の端末識別情報を持ち、操作ログ情報Operation001の日時情報以降の日時情報を持つ操作ログ情報Operation002〜Operation010が抽出される。ここで、所定の抽出条件を“同一ファイルに係る操作”とすると、操作ログ情報Operation001の操作対象である“ファイルＡ”を操作対象とする操作ログ情報Operation002、Operation003、Operation004が後続操作ログ情報となる。 When operation log information Operation001 is acquired as preceding operation log information, operation log information Operation002 to Operation010 having the same terminal identification information as operation log information Operation001 and date / time information after operation log information Operation001 is extracted. Is done. Here, if the predetermined extraction condition is “operation related to the same file”, operation log information Operation002, Operation003, and Operation004 with “File A” that is the operation target of the operation log information Operation001 are the subsequent operation log information and Become.
なお、後続操作ログ情報は一の操作ログ情報でも複数の操作ログ情報でも構わない。前者の場合には、上記の条件を満たす操作ログ情報のうち、先行操作ログ情報の直後の操作ログ情報が後続操作ログ情報となる。 The subsequent operation log information may be one operation log information or a plurality of operation log information. In the former case, of the operation log information satisfying the above conditions, the operation log information immediately after the preceding operation log information is the subsequent operation log information.
先行操作ログ情報取得部２３および後続操作ログ情報取得部２４から、先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃０６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
The migration
上述したように、本実施形態における移行情報とは、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間等の先行操作における状態から後続操作における状態への移行を示す情報である。上述の例の場合には、移行情報として、“ファイルＡは、保存→選択→ＵＳＢメモリにコピーされます”等の後続操作ログ情報の操作内容を反映した文字情報や、アイコンやマウスの位置情報の軌跡を表す情報、後続操作が行われるまでの時間等とすることができる。 As described above, the transition information in the present embodiment is information indicating the content of the subsequent operation, information indicating movement from the position of the preceding operation to the position of the subsequent operation, time until the subsequent operation is performed from the preceding operation, etc. This is information indicating a transition from the state in the preceding operation to the state in the subsequent operation. In the case of the above-described example, the migration information includes character information reflecting the operation contents of the subsequent operation log information such as “File A is saved → selected → copied to USB memory”, and icon / mouse position information. Information indicating the trajectory, time until subsequent operation, and the like.
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、先行操作ログ情報に対応する操作画像情報を取得し、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃０８）。このとき、取得した操作画像情報が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃０９）、以降であれば（＃０９のYes分岐）移行情報が破棄される（＃１０）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示される（＃１１）。
The reproduction
上述の例では、先行操作ログ情報Operation001に対応する操作画像情報はImage002であり、操作画像情報Image002に含まれる操作画像に対して、移行情報としての文字列“ファイルＡは保存→選択→ＵＳＢメモリにコピーされます”を重畳表示した再生画像が作成される（図５（ｂ）参照）。 In the above example, the operation image information corresponding to the preceding operation log information Operation001 is Image002, and for the operation image included in the operation image information Image002, the character string “file A is saved → selected → USB memory as migration information” A reproduced image on which “is copied” is superimposed is created (see FIG. 5B).
また、先行操作ログ情報取得部２３により、操作画像情報Image003が取得された場合には、対応する操作ログ情報が存在せず、（＃０２のNo分岐）、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image003に含まれる操作画像と上述の移行情報とから再生画像を作成する。
When the operation image information Image003 is acquired by the preceding operation log
また、先行操作ログ情報取得部２３により、操作画像情報Image004が取得された場合には、対応する操作ログ情報Operation002は存在する（＃０２のYes分岐）が、“保存”は特定操作でないと判定される（＃０３のNo分岐）。この場合も、上述の場合と同様に、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image004に含まれる操作画像と上述の移行情報とから再生画像を作成する。
If the operation image information Image004 is acquired by the preceding operation log
上述の処理が繰り返されることにより、図５に示す再生画像が得られる。 By repeating the above process, a reproduced image shown in FIG. 5 is obtained.
また、上記の処理において、所定の抽出条件を“同一アプリケーションに係る操作”とすると、操作ログ情報Operation001の操作対象アプリケーション“アプリケーションＷ”と同一の操作対象アプリケーションを持つ操作ログ情報Operation002およびOperation005が後続操作ログ情報となり、このときの移行情報を後続操作の内容を表す情報とすると、図６の再生画像となる。このとき、操作ログ情報にアプリケーションウィンドウの位置情報を含ませておき、移行情報と所定の抽出条件に係るアプリケーションウィンドウとが重ならないように表示することも可能である（図６（ｄ）参照）。 In the above processing, if the predetermined extraction condition is “operation related to the same application”, the operation log information Operation002 and Operation005 having the same operation target application as the operation target application “application W” of the operation log information Operation001 will follow. If it becomes operation log information and the transition information at this time is information indicating the content of the subsequent operation, the reproduced image of FIG. 6 is obtained. At this time, it is also possible to include the position information of the application window in the operation log information and display the transition information and the application window related to a predetermined extraction condition so as not to overlap (see FIG. 6D). .
また、環境情報に基づいて抽出条件を設定することも可能であり、例えば、上記の例において、所定の抽出条件を“ＵＳＢメモリ装着中”とすると、操作ログ情報Operation002〜Operation005までが後続操作ログ情報となり、図７の再生画像が得られる。 It is also possible to set the extraction condition based on the environment information. For example, in the above example, if the predetermined extraction condition is “USB memory mounted”, the operation log information from Operation 002 to Operation 005 is the subsequent operation log. It becomes information and the reproduced image of FIG. 7 is obtained.
〔第２実施形態〕
次に、図を用いて本発明の操作内容再生システムの第２実施形態を説明する。図８は、本実施形態における機能ブロック図であり、第１実施形態と同様の機能部には同じ符号を付している。
[Second Embodiment]
Next, a second embodiment of the operation content reproduction system of the present invention will be described with reference to the drawings. FIG. 8 is a functional block diagram in the present embodiment, and the same reference numerals are given to the same functional units as those in the first embodiment.
本実施形態の操作内容再生システムは、補間画像作成部２８を備えている点において第１実施形態と異なっている。補間画像作成部２８は、通常、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
The operation content reproduction system of this embodiment is different from the first embodiment in that an interpolation
補間画像作成部２８は、先行操作ログ情報の日時情報と一致する操作画像情報が存在しない場合に、先行操作ログ情報が生成された日時の表示されていた操作画面情報を作成する。具体的には、先行操作ログ情報の日時情報の直前の操作画面情報および先行操作ログ情報に基づき操作画像情報を作成する、もしくは、先行操作ログ情報の日時情報の直前および直後の操作画像情報に含まれる操作画像から補間により操作画像を作成する方法を用いることができる。本実施形態では、前者の処理を説明する。
When there is no operation image information that matches the date / time information of the preceding operation log information, the interpolation
図９は、本実施形態の処理の流れを表すフローチャートである。まず、第１実施形態と同様に、管理者により、操作内容の再生の開始および再生を実行する開始日時および終了日時が指示されることにより、以下の処理が開始される。 FIG. 9 is a flowchart showing the processing flow of the present embodiment. First, as in the first embodiment, the administrator starts the reproduction of the operation content and instructs the start date and time and the end date and time to execute the reproduction, so that the following processing is started.
まず、再生日時として上述の指示された開始日時が取得され（＃２１）、再生日時と同一の日時情報を持つ操作ログ情報が操作ログ情報記録部２１から取得される（＃２２）。このとき操作ログ情報が取得されれば（＃２３のYes分岐）、取得された操作ログ情報が先行操作ログ情報であるか否かの判定が行われる（＃２４）。 First, the instructed start date and time is acquired as the reproduction date and time (# 21), and operation log information having the same date and time information as the reproduction date and time is acquired from the operation log information recording unit 21 (# 22). If the operation log information is acquired at this time (Yes branch of # 23), it is determined whether or not the acquired operation log information is the preceding operation log information (# 24).
上述の処理により、先行操作ログ情報であると判定された場合（＃２４のYes分岐）には、先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
If it is determined that the preceding operation log information is the preceding operation log information (Yes branch of # 24), the preceding operation log information is sent to the subsequent operation log
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃２５）。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
The subsequent operation log
先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃２６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
The migration
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、操作画像情報記録部２２対して、先行操作ログ情報と同一の日時情報を持つ操作画像情報の有無を問い合わせ（＃２７）、存在する場合（＃２７のYes分岐）には、その操作画像情報を取得し（＃２８）、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示され（＃３０）、現在の再生日時に、所定の再生間隔時間が加算され、再生日時が更新される（＃３１）。このとき、更新された再生日時が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃３２）、以降であれば（＃３２のYes分岐）移行情報が破棄される（＃３３）。
The reproduction
その後、現在の再生日時と終了日時とが比較され（＃３４）、終了日時に達していない場合（＃３４のNo分岐）には、上述の処理が繰り返される。 Thereafter, the current reproduction date and time and the end date and time are compared (# 34). If the end date and time have not been reached (No branch at # 34), the above-described processing is repeated.
また、先行操作ログ情報の日時情報に一致する日時情報を持つ操作画像情報が存在しない場合（＃２７のNo分岐）には、補間画像作成部２８により補間画像が作成される（＃３５）。具体的には、操作画像情報記録部２２から、＃２４において取得された操作ログ情報の日時情報の直前の日時情報を持つ操作画面情報が取得され、取得された操作画像情報とその操作ログ情報とに基づき、補間画像が作成される。作成された補間画像は、再生画像作成部２６に渡される。
If there is no operation image information having date and time information that matches the date and time information of the preceding operation log information (No branch at # 27), an interpolation image is created by the interpolation image creation unit 28 (# 35). Specifically, operation screen information having date / time information immediately before the date / time information of the operation log information acquired in # 24 is acquired from the operation image
補間画像を取得した再生画像作成部２６は、移行情報と補間画像とに基づく再生画像を作成し（＃２９）、作成された再生画像は、画像表示部２７によりディスプレイ２に表示される（＃３０）。
The reproduction
一方、再生日時と同一の日時情報を持つ操作ログ情報が存在しない場合（＃２３のNo分岐）には、再生画面作成部２６は、操作画像情報記録部２２から再生日時の操作画像情報を取得する（＃２８）と共に、再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７に送られ、ディスプレイ２に表示される（＃３０）。
On the other hand, when there is no operation log information having the same date and time information as the playback date and time (No branch of # 23), the playback
上述の処理は、再生日時が指示された終了日時に達するまで（＃３４のYes分岐）、繰り返される。 The above-described processing is repeated until the reproduction date / time reaches the designated end date / time (Yes branch of # 34).
〔第３実施形態〕
次に、本発明の操作内容再生システムの第３実施形態を説明する。本実施形態は、先行操作ログ情報取得部２３の動作が、上述の第１実施形態および第２実施形態と異なっている。
[Third Embodiment]
Next, a third embodiment of the operation content reproduction system of the present invention will be described. In the present embodiment, the operation of the preceding operation log
本実施形態における先行操作ログ情報取得部２３は、画像表示部２７により表示される操作画像が含まれている操作画像情報に対応する操作ログ情報を先行操作ログ情報とするものである。
The preceding operation log
このときの処理の流れを図１０のフローチャートに基づき説明する。第１実施形態と同様の処理ステップには同一の符号を付している。 The flow of processing at this time will be described based on the flowchart of FIG. The same processing steps as those in the first embodiment are denoted by the same reference numerals.
通常の再生状態では、第１実施形態と同様、画像表示部２７は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を取得し、操作画像情報に含まれる操作画像を逐次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
In the normal reproduction state, as in the first embodiment, the
上述の再生動作と同時に、先行操作ログ情報取得部２３は、操作ログ情報記録部２１に、画像表示部２６により取得された操作画像情報に対応する操作ログ情報が存在するか否かを判定する（＃０２）。操作画像情報に対応する操作ログ情報が存在する場合（＃０２のYes分岐）には、その操作ログ情報が先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４に送られる。
Simultaneously with the above-described reproduction operation, the preceding operation log
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の条件とを比較することにより、後続操作ログ情報を取得する。ただし、本実施形態では、第１実施形態と異なり、操作ログ情報記録部２１に記録されている操作ログ情報から、所定の条件を充足し、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報のうち、最先の一の操作ログ情報のみを後続操作ログ情報として取得する。
The subsequent operation log
以降の処理は、実施形態１における処理の流れと同様であり、上述の処理を繰り返すことにより、図１１に示す再生画像が得られる。本実施形態では、図から分かるように、再生画像の移り変わりに伴い、移行情報も変化している。 The subsequent processing is the same as the processing flow in the first embodiment, and the reproduced image shown in FIG. 11 is obtained by repeating the above processing. In this embodiment, as can be seen from the figure, the transition information also changes as the playback image changes.
〔第４実施形態〕
次に、本発明の操作内容再生システムの第４実施形態を説明する。本実施形態は、後続操作ログ情報取得部２４の動作が、上述の第１実施形態および第２実施形態と異なっている。
[Fourth Embodiment]
Next, a fourth embodiment of the operation content reproduction system of the present invention will be described. In the present embodiment, the operation of the subsequent operation log
本実施形態における後続操作ログ情報取得部２４は、操作間の関連を記録する操作関連テーブル（図示せず）に基づき、後続操作ログ情報を取得する。
The subsequent operation log
操作関連テーブルには、第１の操作と第２の操作の間に相関関係のある操作を関連付けて記録している。図１２は、操作関連テーブルの内容の例であり、“選択”と“コピー”、“選択”と“削除”、“ＵＳＢメモリ装着”と“選択”が、それぞれ第１の操作および第２の操作として記録されている。このとき、後続操作ログ情報取得部２４は、先行操作ログ情報の操作内容を第１の操作として、その第１の操作に関連付けられている第２の操作を取得し、操作ログ情報記録部２１から、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、操作内容が第２の操作である操作ログ情報のうち最先の操作ログ情報を後続操作ログ情報として取得する。
In the operation relation table, operations having a correlation between the first operation and the second operation are recorded in association with each other. FIG. 12 is an example of the contents of the operation-related table. “Select” and “Copy”, “Select” and “Delete”, “USB memory installation” and “Select” are the first operation and the second, respectively. It is recorded as an operation. At this time, the subsequent operation log
次に、本実施形態における処理の流れを図３のフローチャートを用いて説明する。なお、図３の処理に先立ち操作ログ情報記録部２１および操作画像情報記録部２２には、図４の操作ログ情報および操作画像情報が記録されているものとする。また、特定操作とは、操作関連テーブルに記録されている第１の操作であるとする。
Next, the flow of processing in this embodiment will be described using the flowchart of FIG. It is assumed that the operation log information and the operation image information of FIG. 4 are recorded in the operation log
まず、操作画像情報記録部２２から一の操作画像情報が取得され（＃０１）、対応する操作ログ情報の有無が判定される（＃０２）。この例では、まずImage001が取得されると、対応する操作ログ情報としてOperation000が存在することが判定される。ここで、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリの装着”であり、特定操作であると判定される。（＃０３のYes分岐）。したがって、操作ログ情報Operation000は先行操作ログ情報として取得される（＃０４）。 First, one piece of operation image information is acquired from the operation image information recording unit 22 (# 01), and the presence / absence of corresponding operation log information is determined (# 02). In this example, when Image001 is first acquired, it is determined that Operation000 exists as the corresponding operation log information. Here, the operation content of the operation log information Operation000 is “attaching USB memory”, and it is determined that the operation is the specific operation. (Yes branch of # 03). Therefore, the operation log information Operation000 is acquired as preceding operation log information (# 04).
先行操作ログ情報Operation000は、後続操作ログ情報取得部２４に送られ、後続操作ログ情報取得部２４は、操作関連テーブルから、先行操作ログ情報Operation000の操作内容である“ＵＳＢメモリ装着”に関連付けられている第２の操作として“選択”を取得する。後続操作ログ情報取得部２４は、さらに、先行操作ログ情報Operation000以降の操作ログ情報のうち、操作内容が“選択”である最先の操作ログ情報、すなわちOperation003を後続操作ログ情報として取得する（＃０５）。
The preceding operation log information Operation000 is sent to the subsequent operation log
このとき、先行操作ログ情報Operation000および後続操作ログ情報Operation003から移行情報が作成され（＃０６）、図１３（ａ）の再生画像が作成される（＃０８）。 At this time, transition information is created from the preceding operation log information Operation000 and the subsequent operation log information Operation003 (# 06), and the reproduced image of FIG. 13A is created (# 08).
以降、同様の処理により、操作画像情報Image006が取得された際に、Operation003が先行操作ログ情報となり、このときの後続操作ログ情報はOperation004となり、図１３（ｃ）の再生画像が作成される。 Thereafter, when the operation image information Image006 is acquired by the same processing, Operation003 becomes the preceding operation log information, and the subsequent operation log information at this time becomes Operation004, and the reproduced image of FIG. 13C is created.
このように先行操作及び後続操作を関連のある操作として定めることにより、一連の関連した操作を表す移行情報を反映した再生画像を生成することができ、端末Ｃにおける操作の内容を的確に把握することが可能となる。 By defining the preceding operation and the subsequent operation as related operations in this way, it is possible to generate a reproduction image reflecting transition information representing a series of related operations, and accurately grasp the content of the operation at the terminal C. It becomes possible.
〔別実施形態〕
（１）上述の実施形態では、移行情報として操作の内容を用いたが、操作の内容を把握するために有用な種々の情報を用いることができる。例えば、操作内容と共にその操作が実行されるまでの時間を表示することができる。操作内容と共に操作が実行されるまでの時間を移行情報として再生画像に表示することにより、管理者は、注目すべき操作までの時間を把握することができるため、操作の見逃しを回避することができる。
[Another embodiment]
(1) In the above-described embodiment, the content of the operation is used as the migration information, but various information useful for grasping the content of the operation can be used. For example, the time until the operation is executed can be displayed together with the operation content. By displaying the time until the operation is executed together with the operation content as the transition information on the reproduced image, the administrator can grasp the time until the operation to be noticed, thereby avoiding the oversight of the operation. it can.
（２）上述の実施形態では、操作の内容が移行情報として再生画像に表示されていたが、再生画像に表示される移行情報は文字情報に限定されない。例えば、マウスによる操作が行われるのであれば、マウスの図を表示することや、先行操作が実行される位置から後続操作が実行される位置を直線で結ぶ等により移行情報を再生画像に表示することができる。このような図等を再生画像に表示することにより、管理者に対し操作を注視するよう喚起することができるため、好適である。 (2) In the above-described embodiment, the content of the operation is displayed on the reproduced image as transition information. However, the transition information displayed on the reproduced image is not limited to character information. For example, if an operation with the mouse is performed, the transition information is displayed on the reproduced image by displaying a diagram of the mouse or connecting the position at which the subsequent operation is performed with a straight line from the position at which the previous operation is performed. be able to. Displaying such a diagram or the like on the reproduced image is preferable because the administrator can be alerted to watch the operation.
（３）本発明の操作内容再生システムの各機能部の配置は、端末Ｃおよび管理サーバＳに適宜変更が可能である。例えば、全機能部を端末Ｃに備えたスタンドアロン型でシステムを構築することも可能である。また、操作ログ情報記録部２１および操作画像情報記録部２２を端末Ｃや別途設置したサーバに配置することも可能である。さらに、移行情報作成部２５、再生画像作成部２６および画像表示部２７を端末Ｃに配置することも可能である。当然ながら、各機能部の配置は上述に限定されるものではなく、本発明の目的を達する限りにおいて、適宜変更可能である。
(3) The arrangement of the functional units of the operation content reproduction system of the present invention can be appropriately changed to the terminal C and the management server S. For example, it is possible to construct a stand-alone system in which all functional units are provided in the terminal C. In addition, the operation log
（４）上述の実施形態では、端末識別情報に基づき、後続操作ログ情報の取得、操作ログ情報と操作画像情報との対応付けが行われたが、ユーザ識別情報に基づいても構わない。 (4) In the above-described embodiment, the subsequent operation log information is acquired and the operation log information and the operation image information are associated with each other based on the terminal identification information, but may be based on the user identification information.
（５）上述の実施形態では、移行情報は操作画像の上に表示されていたが、移行情報の表示位置はこれに限定されるものではなく、操作画像の近傍に表示する（図１４参照）等、他の表示位置とすることができる。このように、移行情報が操作画像と重畳しないように表示すれば、移行情報と共に操作画像の内容が把握し易くなるため好適である。 (5) In the above-described embodiment, the transition information is displayed on the operation image. However, the display position of the transition information is not limited to this, and is displayed in the vicinity of the operation image (see FIG. 14). Other display positions can be used. Thus, it is preferable to display the transition information so that it does not overlap with the operation image because the contents of the operation image can be easily grasped together with the transition information.
（６）上述の実施形態では、移行情報として後続操作の内容を表す情報を用いたが、上述したように、移行情報としては種々の情報を用いることがでる。図１５は、先行操作に係る位置から後続操作に係る位置に対しての位置情報の変更を移行情報として用いた例である。この例では、ファイルＡが選択された（図１５（ａ）参照）後に、メニューリストから「送る」さらに「ＵＳＢメモリ」が選択される（図１５（ｂ）参照）ことにより、ファイルＡがＵＳＢメモリにコピーされる様子が表されている。このとき、ファイルＡの選択操作が先行操作として取得されると、ＵＳＢメモリへのコピー操作が後続操作として取得され、先行操作の操作位置から後続操作の操作位置への矢印と共に、後続操作に係るウィンドウ位置が移行情報として点線として表されている。このような移行情報を用いることにより、管理者は後続操作に係る位置を予め知ることができ、その位置を注視するだけで後続操作を把握することができるため、好適である。 (6) In the above-described embodiment, information indicating the content of the subsequent operation is used as the transfer information. However, as described above, various information can be used as the transfer information. FIG. 15 is an example in which a change in position information from a position related to a preceding operation to a position related to a subsequent operation is used as transition information. In this example, after file A is selected (see FIG. 15A), “Send” and “USB memory” are selected from the menu list (see FIG. 15B), so that file A becomes USB. It shows how it is copied to memory. At this time, when the selection operation of the file A is acquired as the preceding operation, the copy operation to the USB memory is acquired as the subsequent operation, and the operation from the operation position of the preceding operation to the operation position of the subsequent operation is related to the subsequent operation. The window position is represented as a dotted line as transition information. By using such transition information, the administrator can know the position related to the subsequent operation in advance, and can grasp the subsequent operation only by gazing at the position, which is preferable.
図１６は、先行操作から後続操作が行われるまでの時間を移行情報として用いた例である。このように、移行情報として先行操作から後続操作までの時間を用いると、管理者は後続操作に係る操作画像が表示されるまでの時間を把握することができため、好適である。 FIG. 16 is an example in which the time from the preceding operation to the subsequent operation is used as the transition information. As described above, it is preferable to use the time from the preceding operation to the subsequent operation as the migration information because the administrator can grasp the time until the operation image related to the subsequent operation is displayed.
図１７は、後続操作が注目すべき操作の場合に、管理者の注意を喚起するための図形を移行情報として用いた例である。この例では、先行操作としてファイルＡの選択、後続操作としてファイルＡのＵＳＢメモリへのコピーが取得され、移行情報として注意を喚起する“！”が表示されている。このとき、移行情報の表示位置を後続操作に係る位置とすると、管理者は後続操作に係る位置に注意を向けることができるため好適である。 FIG. 17 is an example in which a graphic for alerting the administrator is used as the migration information when the subsequent operation is an operation to be noted. In this example, the file A is selected as the preceding operation, the copy of the file A to the USB memory is acquired as the succeeding operation, and “!” For calling attention is displayed as the migration information. At this time, it is preferable that the display position of the transition information is a position related to the subsequent operation because the administrator can pay attention to the position related to the subsequent operation.
このように、移行情報は種々の情報を用いることが可能であり、本発明の目的を達する限りにおいて、適宜変更することができる。 As described above, various kinds of information can be used as the migration information, and can be appropriately changed as long as the object of the present invention is achieved.
Ｓ：管理サーバ
Ｃ：端末
１０、２０：ネットワークＩ／Ｆ
１１：操作ログ情報生成部
１２：操作画像情報生成部
１３、３０：ＧＵＩ部
２１：操作ログ情報記録部
２２：操作画像情報記録部
２３：先行操作ログ情報取得部
２４：後続操作ログ情報取得部
２５：移行情報作成部
２６：再生画像作成部
２７：画像表示部
S: Management server C:
11: Operation log information generation unit 12: Operation image
Claims (3)
前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、
前記端末における操作ログ情報を記録する操作ログ情報記録部と、
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、
前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、
前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部とを備える操作内容再生システム。 In the operation content playback system that plays back the operation screen on the terminal
An operation image information recording unit that records operation image information including an operation image obtained by capturing an operation screen in the terminal;
An operation log information recording unit for recording operation log information in the terminal;
A predecessor operation log information acquisition unit that detects a specific predecessor operation and acquires predecessor operation log information that is operation log information of the predecessor operation from an operation log information recording unit;
A subsequent operation log information acquisition unit that acquires subsequent operation log information that is operation log information of a subsequent operation following the preceding operation from the operation log information recording unit based on the preceding operation log information and the extraction condition;
A migration information creation unit that creates migration information of an operation based on the preceding operation log information and the subsequent operation log information;
Operation content reproduction comprising operation image information corresponding to the preceding operation log information from the operation image information recording unit, and a reproduction image creation unit that creates a reproduction image based on the transition information and the acquired operation image information system.
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、
前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、
前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる操作内容再生プログラム。 An operation log information recording unit for recording operation log information in the terminal; and an operation image information recording unit for recording operation image information including an operation image obtained by capturing the operation screen in the terminal. In the operation content playback program for the operation content playback system
A predecessor operation log information acquisition function for detecting a specific predecessor operation and acquiring predecessor operation log information that is operation log information of the predecessor operation;
A subsequent operation log information acquisition function for acquiring subsequent operation log information that is operation log information of a subsequent operation following the preceding operation based on the preceding operation log information and the extraction condition;
A migration information creation function for creating migration information of operations based on the preceding operation log information and the subsequent operation log information;
An operation content reproduction program for causing a computer to acquire operation image information corresponding to the preceding operation log information and to realize a reproduction image creation function for creating a reproduction image based on the transition information and the acquired operation image information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008144734A JP5025567B2 (en) | 2008-06-02 | 2008-06-02 | Operation content reproduction system and operation content reproduction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008144734A JP5025567B2 (en) | 2008-06-02 | 2008-06-02 | Operation content reproduction system and operation content reproduction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009294701A true JP2009294701A (en) | 2009-12-17 |
| JP5025567B2 JP5025567B2 (en) | 2012-09-12 |
Family
ID=41542879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008144734A Expired - Fee Related JP5025567B2 (en) | 2008-06-02 | 2008-06-02 | Operation content reproduction system and operation content reproduction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5025567B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221460A (en) * | 2011-04-14 | 2012-11-12 | Nippon Steel Corp | Monitoring operation system, tracking support device and tracking support method |
| JP2015524109A (en) * | 2012-05-30 | 2015-08-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Parental monitoring in a home gateway environment |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256035A (en) * | 2002-02-27 | 2003-09-10 | Toshiba Corp | Plant monitoring device |
| WO2006129676A1 (en) * | 2005-05-31 | 2006-12-07 | Science Park Corporation | Monitoring method, monitoring system, system program, and recording medium containing the program |
| JP2008040560A (en) * | 2006-08-01 | 2008-02-21 | Sharp Corp | Device and method for displaying history information |
| JP2008102827A (en) * | 2006-10-20 | 2008-05-01 | Hitachi Capital Corp | System and method for monitoring personal information file |
| JP2008193332A (en) * | 2007-02-02 | 2008-08-21 | Sky Kk | Terminal monitoring device and program for terminal monitoring device |
-
2008
- 2008-06-02 JP JP2008144734A patent/JP5025567B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256035A (en) * | 2002-02-27 | 2003-09-10 | Toshiba Corp | Plant monitoring device |
| WO2006129676A1 (en) * | 2005-05-31 | 2006-12-07 | Science Park Corporation | Monitoring method, monitoring system, system program, and recording medium containing the program |
| JP2008040560A (en) * | 2006-08-01 | 2008-02-21 | Sharp Corp | Device and method for displaying history information |
| JP2008102827A (en) * | 2006-10-20 | 2008-05-01 | Hitachi Capital Corp | System and method for monitoring personal information file |
| JP2008193332A (en) * | 2007-02-02 | 2008-08-21 | Sky Kk | Terminal monitoring device and program for terminal monitoring device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221460A (en) * | 2011-04-14 | 2012-11-12 | Nippon Steel Corp | Monitoring operation system, tracking support device and tracking support method |
| JP2015524109A (en) * | 2012-05-30 | 2015-08-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Parental monitoring in a home gateway environment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5025567B2 (en) | 2012-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4757303B2 (en) | Method, apparatus and computer-readable program for storing video data in a video file | |
| EP3358843B1 (en) | Method, apparatus and system for displaying video data | |
| US20160323536A1 (en) | Apparatus for playing back recorded video images related to event, and method thereof | |
| JP6554825B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| US20140040738A1 (en) | Information processor, information processing method, and computer program product | |
| JP5025567B2 (en) | Operation content reproduction system and operation content reproduction program | |
| US8824872B2 (en) | Display control apparatus, reproduction system, and recording medium in which display control is performed based on a detected event | |
| US9342813B2 (en) | Apparatus and method for displaying log information associated with a plurality of displayed contents | |
| JP2009223658A (en) | Operation display system and program for the same | |
| WO2017187607A1 (en) | Video monitoring method, server and video monitoring system | |
| JP2008191858A (en) | Terminal monitoring device and program for terminal monitoring device | |
| JP2008269421A (en) | Recorder and program for recorder | |
| JP4069149B1 (en) | Terminal monitoring device and program for terminal monitoring device | |
| JP4397404B2 (en) | Terminal management apparatus and terminal management program | |
| JP6207656B1 (en) | Video surveillance method, server, and video surveillance system | |
| JP2009123003A (en) | Capture image recording apparatus and capture image recording program | |
| JP4562202B2 (en) | Capture image recording apparatus and capture image recording program | |
| JP4553916B2 (en) | Network management system and network management program | |
| JP2009064256A (en) | File management system, file management program, and file management terminal | |
| JP4160997B1 (en) | Operation image reproduction apparatus and operation image reproduction program | |
| JP2008305495A (en) | Contents transmitting device | |
| JP2009080643A (en) | Information management system and information management program | |
| JP2008299651A (en) | Network management system and program for network management | |
| JP5604741B2 (en) | Recording edit transmission system and video operation terminal | |
| JP5599632B2 (en) | Video editing support system and video editing support program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120321 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120619 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5025567 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |