JP4562202B2

JP4562202B2 - Capture image recording apparatus and capture image recording program

Info

Publication number: JP4562202B2
Application number: JP2007284119A
Authority: JP
Inventors: 稔和仁; 直樹本永; 恭子横山
Original assignee: Ｓｋｙ株式会社
Priority date: 2007-10-31
Filing date: 2007-10-31
Publication date: 2010-10-13
Anticipated expiration: 2027-10-31
Also published as: JP2009110431A

Description

本発明は、操作画面をキャプチャして得られるキャプチャ画像を画像記録部に記録するキャプチャ画像記録技術に関する。 The present invention relates to a captured image recording technique for recording a captured image obtained by capturing an operation screen in an image recording unit.

ユーザによるコンピュータ操作を監視する技術として、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続され、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付け、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、このクライアント端末の画面をキャプチャ画像として所定のインターバルで操作ログに記録し、遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納されたキャプチャ画像を監視モニタに再現することで、ユーザによる端末の操作内容を監視することができるが、ネットワークに接続されているクライアント端末の数が多い場合や長時間にわたって端末が操作されている場合、記録すべきキャプチャ画像の容量が大きくなり、その画像記録コストが増大するだけではなく、再生画像の監視時間が長くなるという問題が生じる。 As a technique for monitoring computer operations by a user, a remote control server and a client terminal are connected via a communication network, the remote control server accepts access request information from the client terminal, and the monitor screen displayed on the monitor at the client terminal Is sent to the remote control server, and the remote control server displays the received monitor screen on the monitor and records the screen of this client terminal as a captured image in an operation log at a predetermined interval, and a log reproduction processing unit of the remote control server There is one that reproduces a captured image recorded in an operation log (see, for example, Patent Document 1). In this prior art, it is possible to monitor the operation content of the terminal by the user by reproducing the captured image stored in the data storage unit on the monitoring monitor, but there are many client terminals connected to the network. When the terminal has been operated for a long time, the capacity of the captured image to be recorded increases, which not only increases the image recording cost, but also increases the monitoring time of the reproduced image.

また、河川等の監視対象となる地域の監視画像を遠隔地の画像表示装置に伝送する広域監視システムとして、撮影対象を撮影する撮影手段と、前記撮影手段が撮影した画像を取り込むと共に撮影された画像を各々異なる解像度で圧縮して圧縮画像データに変換する複数の画像キャプチャ手段と、複数の圧縮画像データから要求に応じた最適な圧縮画像データを選択してネットワークを介して画像の配信を行なう画像配信手段とを有する画像配信装置、及び、算出された撮影対象の安全度及び予め設定された撮影対象の重要度などに基づいて外部ネットワークから配信された複数の圧縮画像データ毎の状況を判断して前記複数の圧縮画像データから表示すべき最適な圧縮画像データを選択する状況判断手段と、前記状況判断手段により選択された１つ又は複数の圧縮画像データを異なる解像度に復元する複数の画像デコード手段と、前記画像デコード手段により復元された１つ又は複数の画像を合成して表示する画像合成手段とを有する画像表示装置からなるシステムが知られている（例えば、特許文献２参照）。このシステムでは、撮影手段による撮影画像から、各々異なる解像度、表示レートで圧縮することで複数種の画像データを生成し、それらを伝送するので、撮影画像に対する煩わしい前処理が必要であるとともに、複数種の画像データの伝送のために相当な処理時間がかかるという問題点がある。 In addition, as a wide area monitoring system for transmitting a monitoring image of a region to be monitored such as a river to a remote image display device, a photographing unit for photographing a photographing target, and an image photographed by the photographing unit are captured and photographed. A plurality of image capture means for compressing images at different resolutions and converting them into compressed image data, and selecting the most suitable compressed image data according to the request from the plurality of compressed image data and distributing the images via the network An image distribution apparatus having an image distribution unit, and a situation for each of a plurality of compressed image data distributed from an external network based on the calculated safety level of the shooting target and the importance level of the shooting target set in advance A situation determination means for selecting optimum compressed image data to be displayed from the plurality of compressed image data, and the situation determination means An image display device comprising: a plurality of image decoding means for restoring one or a plurality of compressed image data to different resolutions; and an image composition means for synthesizing and displaying one or a plurality of images restored by the image decoding means. The system which consists of is known (for example, refer patent document 2). In this system, a plurality of types of image data are generated from images captured by the image capturing means by compressing them at different resolutions and display rates, and these are transmitted. There is a problem that considerable processing time is required for transmission of various types of image data.

特開２００６−１０８９４７号公報（段落番号〔００９４〕〜〔００９９〕、図１、図１７）Japanese Patent Laying-Open No. 2006-108947 (paragraph numbers [0094] to [0099], FIGS. 1 and 17) 特開２００６−４１７７０号公報（段落番号〔００２２〕〜〔００２５〕、図１、図１７）JP 2006-41770 A (paragraph numbers [0022] to [0025], FIGS. 1 and 17)

上記実状に鑑み、本発明の課題は、操作中の操作画面をキャプチャして得られたキャプチャ画像を効率よく記録保存する技術を提供することである。 In view of the above situation, an object of the present invention is to provide a technique for efficiently recording and saving a captured image obtained by capturing an operation screen during operation.

上記課題を解決するための本発明に係る、キャプチャ画像記録装置の特徴構成は、操作画面をキャプチャして得られるキャプチャ画像を、前記操作画面上で操作されるポインティングデバイスの操作に応じて、画像記録部に記録するために、クライアント端末の特定操作イベントを検出する特定操作イベント検出部と、前記特定操作イベント検出部によって検出された２つの特定操作イベントに基づいたポインティングデバイス位置の直線距離である２点間距離を算出する２点間距離算出部と、前記２点間距離を所定の基準距離で除することにより前記画像記録部に記録される記録キャプチャ画像の記録枚数を決定する記録枚数決定部と、前記２つの特定操作イベントが行われた間でキャプチャされたキャプチャ画像から前記記録枚数決定部により決定された記録枚数分の記録キャプチャ画像を抽出する記録キャプチャ画像抽出部と、を備える点にある。 According to the present invention for solving the above-described problem, the captured image recording apparatus is configured to capture an operation screen captured image obtained in accordance with an operation of a pointing device operated on the operation screen. A linear distance between the pointing device position based on the two specific operation events detected by the specific operation event detecting unit and the specific operation event detecting unit detected by the specific operation event detecting unit for detecting the specific operation event of the client terminal in order to record in the recording unit A two-point distance calculation unit that calculates a distance between two points, and a recording number determination that determines the number of recording captured images recorded in the image recording unit by dividing the distance between the two points by a predetermined reference distance And the recording number determination unit from a captured image captured between the two specific operation events. In that it comprises a recording captured image extraction unit that extracts a recording captured images recorded number of sheets which is more determined.

例えば、ポインティングデバイスの特定操作イベントをクリック操作とすると、一般的に、このようなクリック操作が行われる間のカーソルを移動させている状況においては、保存すべき重要な情報は少ないと考えられる。上記構成によれば、クリック操作が行われた際のポインティングデバイスのカーソルの位置と、その後にクリック操作が行われたカーソルの位置とから算出された２点間距離に応じて、画像記録部に記録される記録キャプチャ画像の記録枚数を決定することができる。これにより、操作中の操作画面をキャプチャして得られたキャプチャ画像から、決定された記録枚数だけ記録キャプチャ画像を抽出して記録することができ、キャプチャ画像を効率よく記録することが可能なキャプチャ画像記録装置を実現することができる。 For example, when a specific operation event of the pointing device is a click operation, it is generally considered that there is little important information to be stored in a situation where the cursor is moved while such a click operation is performed. According to the above-described configuration, the image recording unit is set according to the distance between the two points calculated from the cursor position of the pointing device when the click operation is performed and the cursor position after which the click operation is performed. The number of recording capture images to be recorded can be determined. As a result, it is possible to extract and record the recorded capture image from the captured image obtained by capturing the operation screen during operation, and to record the captured image efficiently. An image recording apparatus can be realized.

また、記録キャプチャ画像の抽出には種々の形態が考えられるが、本発明の好適な実施形態として、前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントが行われた間の前記ポインティングデバイスのカーソルの軌跡移動距離と前記決定された記録枚数とによって算定される前記カーソルの移動距離毎に、前記記録キャプチャ画像を抽出するようにしても良いし、或いは、前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントが行われた間の前記ポインティングデバイスのカーソルの移動時間と前記決定された記録枚数とによって算定される前記カーソルの移動時間毎に、前記記録キャプチャ画像を抽出するようにしても良い。 In addition, although various forms of recording capture image extraction are possible, as a preferred embodiment of the present invention, the recording capture image extraction unit is configured such that the pointing device during the two specific operation events is performed. The record capture image may be extracted for each movement distance of the cursor calculated by the locus movement distance of the cursor and the determined number of recordings, or the record capture image extraction unit may The recorded capture image may be extracted for each movement time of the cursor calculated based on the movement time of the cursor of the pointing device and the determined number of recordings between two specific operation events. good.

また、前記記録キャプチャ画像抽出部が抽出するキャプチャ画像が存在しない場合に、対応する補間画像を生成する補間画像生成部が備えられていると好適である。 In addition, it is preferable that an interpolation image generation unit is provided that generates a corresponding interpolation image when there is no capture image extracted by the recorded capture image extraction unit.

また、前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントの間に、前記特定操作イベント以外の所定の操作イベントが存在する場合にも、付加的に記録キャプチャ画像を抽出する構成であると好適である。 In addition, the record capture image extraction unit is configured to additionally extract a record capture image even when a predetermined operation event other than the specific operation event exists between the two specific operation events. Is preferred.

更に、本発明では、キャプチャ画像を記録する記録装置に好適に用いられるプログラムも権利範囲としており、そのコンピュータプログラムの特徴構成は、操作画面をキャプチャして得られるキャプチャ画像を、前記操作画面上で操作されるポインティングデバイスの操作に応じて、画像記録部に記録するために、クライアント端末の特定操作イベントを検出する特定操作イベント検出機能と、検出された２つの特定操作イベントに基づいたポインティングデバイス位置の直線距離である２点間距離を算出する２点間距離算出機能と、前記２点間距離を所定の基準距離で除することにより前記画像記録部に記録される記録キャプチャ画像の記録枚数を決定する記録枚数決定機能と、前記２つの特定操作イベントが行われた間でキャプチャされたキャプチャ画像から、決定された記録枚数分の記録キャプチャ画像を抽出する記録キャプチャ画像抽出機能と、をコンピュータに実行させる点にある。 Further, in the present invention, a program suitably used for a recording apparatus for recording a captured image is also within the scope of rights, and the characteristic configuration of the computer program is that a captured image obtained by capturing an operation screen is displayed on the operation screen. A specific operation event detection function for detecting a specific operation event of the client terminal and a pointing device position based on the two detected specific operation events for recording in the image recording unit in accordance with an operation of the operated pointing device A distance calculation function for calculating a distance between two points, which is a straight line distance, and a number of recorded captured images recorded in the image recording unit by dividing the distance between the two points by a predetermined reference distance. Captured between the function to determine the number of recordings to be determined and the two specific operation events. From the capture image, recording captured image extracting function for extracting the recorded captured images of the determined recording number of sheets, to the point to be executed by a computer.

このような記録装置のためのプログラムも、上述した本発明の対象としての記録装置と同様に、上述した作用効果を得ることが可能であり、上述した種々の付加的な特徴構成を備えることができる。 The program for such a recording apparatus can obtain the above-described effects as well as the above-described various additional feature configurations, similarly to the recording apparatus as the subject of the present invention described above. it can.

以下、本発明の第一の実施形態について図面に基づいて説明する。図１は、本実施形態に係るキャプチャ画像記録装置１の構成を示した図である。本キャプチャ画像記録装置１は、モニタ１Ａとポインティングデバイス１Ｂとキーボード１Ｃとを備え、このモニタ１Ａには、ユーザの操作に伴う操作画面が表示される。また、この操作画面にはポインティングデバイス１ＢのカーソルＣｕも表示され、このカーソルＣｕの移動はユーザの操作に応じて速く動いたり、ゆっくり動いたり、停止したりする。本キャプチャ画像記録装置１は、操作中の操作画面をキャプチャして得られたキャプチャ画像から、操作画面上で操作されるポインティングデバイスの操作に応じて決定された記録枚数だけ記録キャプチャ画像を抽出して記録する機能を備えている。ここで、本キャプチャ画像記録装置１は、キャプチャ画像を記録するだけでなく、文字入力や各種演算処理が行うことが可能なクライアント端末としても使用可能である。以下、当該機能について説明する。 Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of a captured image recording apparatus 1 according to the present embodiment. The captured image recording apparatus 1 includes a monitor 1A, a pointing device 1B, and a keyboard 1C. An operation screen associated with a user operation is displayed on the monitor 1A. Further, the cursor Cu of the pointing device 1B is also displayed on this operation screen, and the movement of the cursor Cu moves fast, moves slowly or stops according to the user's operation. The captured image recording apparatus 1 extracts a recorded capture image from the captured image obtained by capturing the operation screen in operation by the number of recordings determined in accordance with the operation of the pointing device operated on the operation screen. It has a function to record. Here, the captured image recording apparatus 1 can be used not only as a captured image but also as a client terminal capable of inputting characters and performing various arithmetic processes. The function will be described below.

図２は、本実施形態に係るキャプチャ画像記録装置１の概略構成を模式的に示したブロック図である。本キャプチャ画像記録装置１は、操作ログ情報取得部１０、特定操作イベント検出部１１、カーソル情報取得部１２、２点間距離算出部１５、抽出条件決定部１６、記録枚数決定部１７、記録キャプチャ画像抽出部１８、基準距離設定部１９、キャプチャ画像格納部２０、画像記録部２１の各機能部を備える。以下、本キャプチャ画像記録装置１の各部の構成について説明する。 FIG. 2 is a block diagram schematically showing a schematic configuration of the captured image recording apparatus 1 according to the present embodiment. The captured image recording apparatus 1 includes an operation log information acquisition unit 10, a specific operation event detection unit 11, a cursor information acquisition unit 12, a two-point distance calculation unit 15, an extraction condition determination unit 16, a recording number determination unit 17, a record capture Each functional unit includes an image extraction unit 18, a reference distance setting unit 19, a captured image storage unit 20, and an image recording unit 21. Hereinafter, the configuration of each part of the captured image recording apparatus 1 will be described.

操作ログ情報取得部１０は、操作ログ情報を取得する。操作ログ情報は、ユーザの操作内容や操作時間等に基づいて記録される操作ログからなる。この操作ログには、例えば、アプリケーションの操作や、各種ファイル操作等の操作履歴と共に、これらの操作に応じて用いられるポインティングデバイス１Ｂの特定操作イベントの操作ログも含まれる。ここで、特定操作イベントとは、ユーザによるポインティングデバイス１Ｂの操作のうちで予め設定された特定の操作イベントである。具体的には、クリック操作等が該当する。以降の説明においては、特に断りがない限り、この特定操作イベントはクリック操作であるとして説明する。 The operation log information acquisition unit 10 acquires operation log information. The operation log information includes an operation log recorded based on the user's operation content and operation time. This operation log includes, for example, an operation log of a specific operation event of the pointing device 1B used in accordance with an operation history of an application operation, various file operations, and the like as well as an operation history. Here, the specific operation event is a specific operation event set in advance among the operations of the pointing device 1B by the user. Specifically, a click operation or the like is applicable. In the following description, this specific operation event will be described as a click operation unless otherwise specified.

キャプチャ画像格納部２０は、キャプチャ画像を一時的に格納する。このキャプチャ画像は、キャプチャ画像記録装置１がコンピュータ端末として使用された場合における操作画面をキャプチャして生成される。また、キャプチャ画像には、キャプチャされた時間を示すタイムスタンプが含まれる。なお、このキャプチャ画像の生成は、図示しないキャプチャ画像生成部により生成される。 The captured image storage unit 20 temporarily stores captured images. This captured image is generated by capturing an operation screen when the captured image recording apparatus 1 is used as a computer terminal. The captured image includes a time stamp indicating the captured time. Note that the capture image is generated by a capture image generation unit (not shown).

カーソル情報取得部１２は、カーソル移動情報とカーソル位置情報とからなるカーソル情報を取得する。カーソル移動情報は、操作画面上でのポインティングデバイス１ＢのカーソルＣｕの移動に応じて、カーソルＣｕが実際に移動した際の軌跡に対応する軌跡移動距離を含む情報である。当該軌跡移動距離は、カーソル位置情報に基づいて算出される。また、カーソル位置情報は、操作画面上でのポインティングデバイス１ＢのカーソルＣｕの位置を示す情報であり、カーソルＣｕの位置情報が取得された取得時間と、その取得時間におけるカーソルＣｕのｘ座標及びｙ座標とからなる座標情報とが含まれる。これらの情報は、キャプチャ画像記録装置１におけるユーザのカーソル操作に基づいて生成される。 The cursor information acquisition unit 12 acquires cursor information including cursor movement information and cursor position information. The cursor movement information is information including a locus movement distance corresponding to a locus when the cursor Cu actually moves in accordance with the movement of the cursor Cu of the pointing device 1B on the operation screen. The trajectory moving distance is calculated based on the cursor position information. The cursor position information is information indicating the position of the cursor Cu of the pointing device 1B on the operation screen. The acquisition time when the position information of the cursor Cu is acquired, and the x coordinate and y of the cursor Cu at the acquisition time. Coordinate information consisting of coordinates is included. These pieces of information are generated based on a user's cursor operation in the captured image recording apparatus 1.

特定操作イベント検出部１１は、操作ログ情報取得部１０により取得された操作ログ情報からポインティングデバイス１Ｂの特定操作イベントの検出を行う。即ち、特定操作イベント検出部１１は、操作ログ情報からポインティングデバイス１Ｂのクリック操作の検出を行う。 The specific operation event detection unit 11 detects a specific operation event of the pointing device 1B from the operation log information acquired by the operation log information acquisition unit 10. That is, the specific operation event detection unit 11 detects the click operation of the pointing device 1B from the operation log information.

２点間距離算出部１５は、特定操作イベント検出部１１により検出されたクリック操作の操作時間に対応するカーソル位置情報をカーソル情報取得部１２から取得し、２つのクリック操作が行われたポインティングデバイス位置の間の距離である２点間距離の算出を行う。２つのクリック操作は、上述のように特定操作イベント検出部１１により検出される。また、２点間距離とは、クリック操作が行われたカーソルＣｕの位置の２点間の最短距離である。この最短距離は、実際にカーソルＣｕが移動した際の軌跡ではなく、クリック操作が行われた位置を直線で結んだ場合における距離である。したがって、２点間距離算定部１５は、特定操作イベント検出部１１により検出された２つのクリック操作が行われた間の直線距離を算出していることに相当する。 The point-to-point distance calculation unit 15 acquires cursor position information corresponding to the operation time of the click operation detected by the specific operation event detection unit 11 from the cursor information acquisition unit 12, and the pointing device on which the two click operations are performed A distance between two points, which is a distance between positions, is calculated. The two click operations are detected by the specific operation event detection unit 11 as described above. The distance between two points is the shortest distance between two points at the position of the cursor Cu where the click operation is performed. This shortest distance is not a trajectory when the cursor Cu actually moves, but a distance when the position where the click operation is performed is connected by a straight line. Therefore, the distance calculation part 15 between two points is equivalent to calculating the linear distance between two click operation detected by the specific operation event detection part 11. FIG.

基準距離設定部１９は、基準距離の設定を行う。この基準距離は、記録枚数決定部１７が画像記録部２１に記録される記録キャプチャ画像の記録枚数の決定を行う際に用いられる（詳細は後述する）。また、基準距離は、モニタ１Ａに表示される操作画面内で一様に規定される。そして、予め設定されている所定の値からユーザが変更することも可能である。当該基準距離を大きな値に設定する程、記録枚数が少なくなり、一方、当該基準距離を小さな値に設定する程、記録枚数が多くなる。したがって、ユーザは記録を行いたい記録枚数に応じて、当該基準距離を設定することが可能である。 The reference distance setting unit 19 sets a reference distance. This reference distance is used when the recording number determination unit 17 determines the number of recording capture images to be recorded in the image recording unit 21 (details will be described later). The reference distance is uniformly defined in the operation screen displayed on the monitor 1A. The user can also change the value from a predetermined value set in advance. The larger the reference distance is set, the smaller the number of recorded sheets. On the other hand, the smaller the reference distance is set, the larger the number of recorded sheets. Therefore, the user can set the reference distance according to the number of recordings to be recorded.

記録枚数決定部１７は、２点間距離算出部１５により算出された２点間距離と基準距離設定部１９により設定される所定の基準距離とに基づいて画像記録部２１に記録される記録キャプチャ画像の記録枚数の決定を行う。具体的には、記録枚数決定部１７は、上述の２点間距離算出部１５により算出された２点間距離を、基準距離設定部１９で設定された基準距離で除することにより、記録枚数を算出する。 The number-of-records determining unit 17 is a record capture recorded in the image recording unit 21 based on the distance between two points calculated by the distance calculation unit 15 between two points and a predetermined reference distance set by the reference distance setting unit 19. Determine the number of recorded images. Specifically, the recording number determining unit 17 divides the distance between the two points calculated by the above-described two-point distance calculating unit 15 by the reference distance set by the reference distance setting unit 19 to thereby record the number of recorded sheets. Is calculated.

抽出条件決定部１６は、後述の記録キャプチャ画像抽出部１８が、キャプチャ画像格納部２０から記録枚数分の記録キャプチャ画像を抽出する抽出タイミングの決定を行う。抽出条件決定部１６は、以下のようにして抽出タイミングの決定を行う。まず、抽出条件決定部１６は、カーソル情報取得部１２から２つのクリック操作の間にカーソルＣｕが移動した軌跡移動距離を取得する。そして、記録枚数決定部１７により決定された記録枚数を取得し、軌跡移動距離を当該記録枚数で除して、抽出距離を算出する。そして、軌跡移動距離が抽出距離に達した時間（抽出時間）をカーソル情報取得部１２から取得し、後述の記録キャプチャ画像抽出部１８に伝達する。 The extraction condition determination unit 16 determines an extraction timing at which a later-described recording capture image extraction unit 18 extracts recording capture images for the number of recordings from the capture image storage unit 20. The extraction condition determination unit 16 determines the extraction timing as follows. First, the extraction condition determination unit 16 acquires the trajectory movement distance that the cursor Cu has moved between two click operations from the cursor information acquisition unit 12. Then, the recording number determined by the recording number determination unit 17 is acquired, and the extraction distance is calculated by dividing the trajectory moving distance by the recording number. Then, the time (extraction time) at which the trajectory moving distance reaches the extraction distance is acquired from the cursor information acquisition unit 12 and transmitted to the recording capture image extraction unit 18 described later.

記録キャプチャ画像抽出部１８は、２つのクリック操作が行われた間でキャプチャされたキャプチャ画像から記録枚数決定部１７により決定された記録枚数分の記録キャプチャ画像の抽出を行う。この抽出は、以下のように行われる。まず、記録キャプチャ画像抽出部１８は、上述の抽出条件決定部１６から抽出時間を取得する。次に、記録キャプチャ画像抽出部１８は、取得した抽出時間に対応するタイムスタンプのキャプチャ画像をキャプチャ画像格納部２０から抽出し、画像記録部２１に記録する。本実施形態においては、記録キャプチャ画像抽出部１８は、２つのクリック操作が行われた間のポインティングデバイス１ＢのカーソルＣｕの軌跡移動距離と決定された記録枚数とによって算定されるカーソルＣｕの移動距離毎に、記録キャプチャ画像の抽出が行われる。 The recording capture image extraction unit 18 extracts recording capture images for the number of recordings determined by the recording number determination unit 17 from the captured images captured during two click operations. This extraction is performed as follows. First, the record capture image extraction unit 18 acquires the extraction time from the extraction condition determination unit 16 described above. Next, the record capture image extraction unit 18 extracts a capture image having a time stamp corresponding to the acquired extraction time from the capture image storage unit 20 and records it in the image recording unit 21. In the present embodiment, the record capture image extraction unit 18 moves the cursor Cu movement distance calculated from the locus movement distance of the cursor Cu of the pointing device 1B and the determined number of recordings between two click operations. Every time, a recorded capture image is extracted.

画像記録部２１は、記録キャプチャ画像抽出部１８によりキャプチャ画像格納部２０から抽出された記録キャプチャ画像を記録する。この記録キャプチャ画像は、本実施形態においては、記録枚数決定部１７により決定された記録枚数分の記録キャプチャ画像が記録される。 The image recording unit 21 records the record capture image extracted from the capture image storage unit 20 by the record capture image extraction unit 18. In the present embodiment, the recording capture image is recorded as many as the number of recordings determined by the recording number determining unit 17.

次に、本キャプチャ画像記録装置１が、操作画面から記録キャプチャ画像を画像記録部２１に記録する記録過程について図を用いて説明する。図３は、モニタ１Ａに表示される操作画面をキャプチャしてキャプチャ画像格納部２０に格納されたキャプチャ画像である。なお、図３は、キャプチャ画像のキャプチャタイミングを１枚／秒とした場合にキャプチャされた場合のキャプチャ画像を例示しており、取得時間ｔ１からｔ１６として夫々図３（ａ）から（ｐ）まで図示している。取得時間ｔ１からｔ４の間に取得された（ａ）の画面から（ｄ）の画面ではカーソルＣｕの移動があるが、取得時間ｔ４からｔ５の間では（ｄ）の画面から（ｅ）の画面に示されるようにカーソルＣｕの移動が見られない。同様に、取得時間ｔ５からｔ１６の間は（ｅ）の画面から（ｐ）の画面に示されるようにカーソルＣｕの移動がある。また、図３に示される「Ａ」、「Ｂ」及び「Ｃ」は、夫々ポインティングデバイス１Ｃのクリック操作位置を示し、破線はカーソルＣｕが実際に動いた軌跡を図示したものである。これらのクリック操作位置や軌跡は実際のキャプチャ画像には表示されなくても良い。なお、「Ａ」、「Ｂ」及び「Ｃ」のクリック操作は、上述のように特定操作イベント検出部１１により操作ログ情報から検出される。 Next, a recording process in which the captured image recording apparatus 1 records a recorded captured image on the image recording unit 21 from the operation screen will be described with reference to the drawings. FIG. 3 is a captured image that is captured in the operation screen displayed on the monitor 1 </ b> A and stored in the captured image storage unit 20. FIG. 3 exemplifies a captured image when the capture timing of the captured image is 1 sheet / second, from FIGS. 3A to 3P as acquisition times t1 to t16, respectively. It is shown. The cursor Cu is moved from the screen (a) to the screen (d) acquired during the acquisition time t1 to t4, but from the screen (d) to the screen (e) during the acquisition time t4 to t5. The movement of the cursor Cu is not seen as shown in FIG. Similarly, during the acquisition time t5 to t16, the cursor Cu moves from the screen (e) to the screen (p). Further, “A”, “B”, and “C” shown in FIG. 3 indicate the click operation positions of the pointing device 1C, respectively, and the broken lines illustrate the locus of the actual movement of the cursor Cu. These click operation positions and trajectories may not be displayed in the actual captured image. The click operations “A”, “B”, and “C” are detected from the operation log information by the specific operation event detection unit 11 as described above.

図４は、図３に図示されたキャプチャ画像に含まれるカーソルＣｕのカーソル位置情報及びカーソル移動情報を示している。ここで、キャプチャ画像とこれらのカーソル情報とは、例えば取得時間等の日時データ（タイムスタンプ）に基づいて関連付けされている。図４の例では、取得時間はｔ１からｔ１６としている。その取得間隔は一例として１秒毎としているが、これに限定されるものではない。順次リアルタイムでカーソル位置情報がカーソル情報取得部１２により取得されるような構成であっても良い。なお、本実施形態においては、操作画面の領域を１０２４×７６８（ｄｏｔ）の領域とし、領域の左下のｘ座標が０、ｙ座標が０と、領域の右上のｘ座標が１０２４、ｙ座標が７６８としている。しかしながら、これに限定されず、異なる領域の操作画面に対して、本発明を適用することも可能であるし、領域の左下以外の位置を基準座標とすることも当然に可能である。 FIG. 4 shows cursor position information and cursor movement information of the cursor Cu included in the captured image shown in FIG. Here, the captured image and the cursor information are associated with each other based on date / time data (time stamp) such as an acquisition time. In the example of FIG. 4, the acquisition time is t1 to t16. The acquisition interval is, for example, every second, but is not limited to this. The cursor position information may be sequentially acquired by the cursor information acquisition unit 12 in real time. In the present embodiment, the area of the operation screen is a 1024 × 768 (dot) area, the lower left x coordinate is 0, the y coordinate is 0, the upper right x coordinate is 1024, and the y coordinate is 768. However, the present invention is not limited to this, and the present invention can be applied to an operation screen in a different area, and it is naturally possible to use a position other than the lower left of the area as a reference coordinate.

図４において、１５時１５分３０秒（取得時間ｔ１）の時には、カーソルＣｕがｘ座標１００、ｙ座標１００の位置にあることを示す。そして、１５時１５分３１秒（取得時間ｔ２）の時には、カーソルＣｕがｘ座標１１１、ｙ座標１９９の位置にあり、軌跡移動距離が１００ｄｏｔであることを示す。したがって、この間でカーソルＣｕが移動していることがわかる。以下、ユーザにより行われるポインティングデバイス１Ｂの操作に応じて、カーソル位置情報及びカーソル移動情報がカーソル情報取得部１２により取得される。なお、図３（ｄ）の画面から（ｅ）の画面で説明したように、１５時１５分３３秒（取得時間ｔ４）から１５時１５分３４秒（取得時間ｔ５）の間では、カーソルＣｕの位置情報（ｘ座標１７２、ｙ座標３８４）が変わっていない。したがって、このカーソル位置情報により、この間にはカーソルＣｕの移動がないことがわかる。ここで、座標情報はｄｏｔ単位で取得されていることから、軌跡移動距離の単位も「ｄｏｔ」となる。なお、この単位は「ｄｏｔ」に限るものではなく、画面上の長さ（例えば、インチやｃｍ）等を使用することも可能である。 In FIG. 4, at 15:15:30 (acquisition time t1), it is indicated that the cursor Cu is at the position of the x coordinate 100 and the y coordinate 100. At 15:15:31 (acquisition time t2), the cursor Cu is at the position of the x coordinate 111 and the y coordinate 199, and the locus moving distance is 100 dots. Therefore, it can be seen that the cursor Cu moves during this time. Hereinafter, in accordance with the operation of the pointing device 1B performed by the user, the cursor position information and the cursor movement information are acquired by the cursor information acquisition unit 12. As described in the screen of FIG. 3D to the screen of (e), the cursor Cu is between 15:15:33 (acquisition time t4) and 15:15:34 (acquisition time t5). Position information (x coordinate 172, y coordinate 384) has not changed. Therefore, it can be seen from this cursor position information that there is no movement of the cursor Cu during this period. Here, since the coordinate information is acquired in units of dots, the unit of the trajectory moving distance is also “dot”. Note that this unit is not limited to “dot”, and the length (for example, inches or cm) on the screen can also be used.

ここで、本実施形態においては、基準距離が「１００」ｄｏｔとして設定されている場合を例として説明する。カーソルＣｕが実際に移動した軌跡に沿った軌跡移動距離は、「Ａ」のクリック位置（取得時間：ｔ１）と「Ｂ」のクリック位置（取得時間：ｔ１２）との間には図４に示される軌跡移動距離から明らかなように「１０００」ｄｏｔ移動しており、一方、「Ｂ」のクリック位置（取得時間：ｔ１２）と「Ｃ」のクリック位置（取得時間：ｔ１６）との間には図４に示される軌跡移動距離から明らかなように「２００」ｄｏｔ移動している。また、２点間距離算出部１５は、図４に示されるカーソル位置情報から「Ａ」のクリック位置と「Ｂ」のクリック位置との間の２点間距離を「５００」ｄｏｔ、一方、「Ｂ」のクリック位置と「Ｃ」のクリック位置との間の２点間距離を「２００」ｄｏｔとして算出する。 Here, in the present embodiment, a case where the reference distance is set as “100” dots will be described as an example. The trajectory moving distance along the trajectory where the cursor Cu has actually moved is shown in FIG. 4 between the click position of “A” (acquisition time: t1) and the click position of “B” (acquisition time: t12). As is apparent from the trajectory movement distance, the movement is “1000” dots. On the other hand, between the click position of “B” (acquisition time: t12) and the click position of “C” (acquisition time: t16) As is apparent from the trajectory moving distance shown in FIG. 4, the movement is “200” dots. Further, the two-point distance calculation unit 15 calculates the distance between the two points between the click position of “A” and the click position of “B” from the cursor position information shown in FIG. A distance between two points between the click position of “B” and the click position of “C” is calculated as “200” dots.

記録枚数決定部１７は、２点間距離算出部１５により算出された２点間距離を基準距離で除することにより、「Ａ」のクリック位置と「Ｂ」のクリック位置との間には５枚、一方、「Ｂ」のクリック位置と「Ｃ」のクリック位置との間には２枚として記録枚数を決定する。 The number-of-records determination unit 17 divides the distance between the two points calculated by the distance calculation unit 15 by the reference distance, so that there is 5 between the click position of “A” and the click position of “B”. On the other hand, the number of recorded sheets is determined as two sheets between the click position of “B” and the click position of “C”.

抽出条件決定部１６は、カーソル情報取得部１２から取得した軌跡移動距離を記録枚数決定部１７から取得した記録枚数で除することにより、「Ａ」のクリック位置と「Ｂ」のクリック位置との間には「２００」ｄｏｔ／枚、一方、「Ｂ」のクリック位置と「Ｃ」のクリック位置との間には「１００」ｄｏｔ／枚として抽出距離を算出する。 The extraction condition determination unit 16 divides the trajectory movement distance acquired from the cursor information acquisition unit 12 by the number of recordings acquired from the recording number determination unit 17, thereby obtaining the click position of “A” and the click position of “B”. The extraction distance is calculated as “200” dots / sheet in between and “100” dots / sheet between the click position of “B” and the click position of “C”.

そして、抽出条件決定部１６は、軌跡移動距離が、抽出距離に達する時間（抽出時間）をカーソル情報取得部１２から取得し、当該抽出時間を記録キャプチャ画像抽出部１８に伝達する。図４の例では、抽出距離と軌跡移動距離とに応じて、取得時間がｔ３に達した時点、ｔ６に達した時点、ｔ８に達した時点、ｔ１０に達した時点、ｔ１２に達した時点、ｔ１４に達した時点、ｔ１６に達した時点で伝達される。 Then, the extraction condition determination unit 16 acquires the time (extraction time) when the trajectory moving distance reaches the extraction distance from the cursor information acquisition unit 12 and transmits the extraction time to the record capture image extraction unit 18. In the example of FIG. 4, according to the extraction distance and the trajectory moving distance, when the acquisition time reaches t3, when t6 is reached, when t8 is reached, when t10 is reached, when t12 is reached, It is transmitted when t14 is reached and when t16 is reached.

記録キャプチャ画像抽出部１８は、抽出条件決定部１６から抽出時間を取得し、当該取得時間に対応するタイムスタンプのキャプチャ画像をキャプチャ画像格納部２０から抽出して、画像記録部２１に記録する。このようにして画像記録部２１に記録された記録キャプチャ画像を図５に示す。なお、図５（ａ）は開始時点の操作画面として画像記録部２１に記録された記録キャプチャ画像である。このようにして、本キャプチャ画像記録装置１は、記録キャプチャ画像を抽出して記録する。 The record capture image extraction unit 18 acquires the extraction time from the extraction condition determination unit 16, extracts the capture image of the time stamp corresponding to the acquisition time from the capture image storage unit 20, and records it in the image recording unit 21. FIG. 5 shows a recorded capture image recorded in the image recording unit 21 in this way. FIG. 5A shows a recorded captured image recorded in the image recording unit 21 as an operation screen at the start time. In this way, the captured image recording apparatus 1 extracts and records the recorded captured image.

次に、本実施形態に係るキャプチャ画像記録装置１において実行される記録キャプチャ画像の記録手順について説明する。図６は、本実施形態に係る記録キャプチャ画像の記録処理の全体の手順を示すフローチャートである。以下に説明する記録キャプチャ画像の記録処理の手順は、上記のキャプチャ画像記録装置１の各機能部を構成するハードウェア又はソフトウェア或いはその両方の組み合わせにより実行される。 Next, a recording capture image recording procedure executed in the captured image recording apparatus 1 according to the present embodiment will be described. FIG. 6 is a flowchart showing the entire procedure of the recording process of the recording capture image according to the present embodiment. The procedure of the recording process of the recording / capturing image described below is executed by hardware, software, or a combination of both constituting each functional unit of the capturing image recording apparatus 1 described above.

まず、基準距離設定部１９により基準距離が設定される（ステップ＃０１）。当該基準距離は、予め所定の値に設定しておくことも可能であるし、ユーザが所望する値を例えばキーボード１Ｃで入力して設定することも可能である。次に、特定操作イベント検出部１１が、操作ログ情報取得部１０により取得された操作ログ情報に含まれる操作ログからポインティングデバイス１Ｂのクリック操作の検出を行う（ステップ＃０２）。 First, a reference distance is set by the reference distance setting unit 19 (step # 01). The reference distance can be set in advance to a predetermined value, or can be set by inputting a value desired by the user with the keyboard 1C, for example. Next, the specific operation event detection unit 11 detects the click operation of the pointing device 1B from the operation log included in the operation log information acquired by the operation log information acquisition unit 10 (step # 02).

この検出は、２つのクリック操作が検出されるまで継続して行われる（ステップ＃０３：Ｎｏ）。特定操作イベント検出部１１により、２つのクリック操作が検出されると（ステップ＃０３：Ｙｅｓ）、２点間距離算出部１５が当該２つのクリック操作が行われたクリック位置を直線で結んだ最短距離となる２点間距離の算出を行う（ステップ＃０４）。そして、記録枚数決定部１７は、算出された２点間距離を基準距離で除することにより、記録枚数を算出する（ステップ＃０５）。 This detection is continued until two click operations are detected (step # 03: No). When two click operations are detected by the specific operation event detection unit 11 (step # 03: Yes), the shortest distance between the two-point distance calculation unit 15 connecting the click positions where the two click operations are performed with a straight line. The distance between the two points as the distance is calculated (step # 04). Then, the recording number determining unit 17 calculates the recording number by dividing the calculated distance between the two points by the reference distance (step # 05).

一方、抽出条件決定部１６は、カーソル情報取得部１２により取得された軌跡移動距離を決定された記録枚数で除することにより、抽出距離を算出する（ステップ＃０６）。 On the other hand, the extraction condition determination unit 16 calculates the extraction distance by dividing the locus movement distance acquired by the cursor information acquisition unit 12 by the determined number of recorded sheets (step # 06).

そして、抽出条件決定部１６は抽出距離と軌跡移動距離との比較を行う。軌跡移動距離が抽出距離の倍数に達すると（ステップ＃０７：Ｙｅｓ）、抽出条件決定部１６は抽出指示を記録キャプチャ画像抽出部１８に対して行う（ステップ＃０８）。当該抽出指示を受けた記録キャプチャ画像抽出部１８は、キャプチャ画像格納部２０に格納されているキャプチャ画像を抽出して、記録キャプチャ画像として画像記録部２１に記録する（ステップ＃０９）。 Then, the extraction condition determination unit 16 compares the extraction distance with the trajectory movement distance. When the trajectory moving distance reaches a multiple of the extraction distance (step # 07: Yes), the extraction condition determination unit 16 issues an extraction instruction to the record capture image extraction unit 18 (step # 08). Receiving the extraction instruction, the record capture image extraction unit 18 extracts the capture image stored in the capture image storage unit 20 and records it as a record capture image in the image recording unit 21 (step # 09).

この処理は、記録枚数決定部１７により決定された記録枚数分の記録キャプチャ画像が記録されるまで継続して行われる（ステップ＃１０：Ｎｏ）。記録枚数分の記録キャプチャ画像が画像記録部２１に記録されると（ステップ＃１０：Ｙｅｓ）、処理を終了する。このような手順により、本キャプチャ画像記録装置１は、キャプチャ画像から記録キャプチャ画像を抽出して効率よく記録保存する。 This process is continuously performed until the number of recording capture images determined by the recording number determining unit 17 is recorded (step # 10: No). When the recording capture images for the number of recording sheets are recorded in the image recording unit 21 (step # 10: Yes), the process is terminated. According to such a procedure, the captured image recording apparatus 1 extracts a recorded captured image from the captured image and efficiently records and stores the captured captured image.

〔その他の実施形態〕
上記実施形態では、特定操作イベント検出部１１が検出する特定操作イベントが、ポインティングデバイス１Ｂのクリック操作であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、特定操作イベントをファイル操作やアプリケーションの起動などに特化して検出するようにすることも当然に可能であるし、キーボード操作、メール受信、自動起動等のクライアント端末における操作を検出するようにすることも当然に可能である。また、本実施形態で説明したクリック操作である場合には、所謂右クリック及び左クリックの一方又は双方を含むように構成することも可能であるし、ポインティングデバイスのクリックボタンが３つ以上ある場合にも、本発明の権利範囲であることは当然である。 [Other Embodiments]
In the above-described embodiment, the specific operation event detected by the specific operation event detection unit 11 has been described as the click operation of the pointing device 1B. However, the scope of application of the present invention is not limited to this. For example, it is naturally possible to detect specific operation events specially for file operations or application activation, and to detect operations on client terminals such as keyboard operations, mail reception, automatic activation, etc. Of course it is also possible to do. In the case of the click operation described in the present embodiment, it may be configured to include one or both of so-called right click and left click, and there are three or more click buttons of the pointing device. In addition, it is a matter of course within the scope of the right of the present invention.

上記実施形態では、特定操作イベントに着目して記録するキャプチャ画像を決定したが、２つの特定操作イベントの間に、特定操作イベント以外の所定の操作イベントが存在を検出した場合にも、記録キャプチャ画像抽出部１８が付加的に記録キャプチャ画像を抽出するように構成すると好適である。このような特定操作イベント以外の所定の操作イベントとしては、コピーや削除等のクライアント端末における通常操作の操作イベントも含むと好適である。例えば、特定操作イベントを上述の実施形態と同様、クリック操作とすると、２つのクリック操作の間にクリック操作以外の操作イベント、例えばドラッグ操作等があった場合には、当該操作イベントを操作ログ情報取得部１０から直接記録キャプチャ画像抽出部１８が取得し、当該操作イベントに基づいて付加的に、即ち記録枚数決定部１７が決定した記録枚数以外に、当該ドラッグ操作に対応するキャプチャ画像をキャプチャ画像格納部２０から抽出して画像記録部２１に記録するように構成しても良い。このような構成であれば、ドラッグ操作中のキャプチャ画像も効率良く記録保存することが可能である。 In the above embodiment, the capture image to be recorded is determined by focusing on the specific operation event. However, the recording capture is also performed when a predetermined operation event other than the specific operation event is detected between the two specific operation events. It is preferable that the image extraction unit 18 is configured to additionally extract a recorded capture image. It is preferable that the predetermined operation event other than the specific operation event includes an operation event of a normal operation in the client terminal such as copying or deletion. For example, if the specific operation event is a click operation as in the above-described embodiment, if there is an operation event other than the click operation between the two click operations, for example, a drag operation, the operation event is recorded as operation log information. The captured captured image extraction unit 18 directly acquires from the acquisition unit 10 and capture images corresponding to the drag operation are additionally captured based on the operation event, that is, in addition to the recording number determined by the recording number determination unit 17. It may be configured to be extracted from the storage unit 20 and recorded in the image recording unit 21. With such a configuration, it is possible to efficiently record and save a captured image being dragged.

上記実施形態では、カーソル移動情報とカーソル位置情報とからなるカーソル情報は、カーソル情報取得部１２により取得されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。カーソル情報は、操作ログ情報から取得するような構成とすることも、当然に可能である。 In the above embodiment, the cursor information including the cursor movement information and the cursor position information has been described as being acquired by the cursor information acquisition unit 12. However, the scope of application of the present invention is not limited to this. Of course, the cursor information can be obtained from the operation log information.

上記実施形態では、基準距離は、モニタ１Ａに表示される操作画面内で一様に規定されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、操作画面を複数の区画毎に分割し、当該区画毎に基準距離を設定するような構成であっても、本発明を適用することは当然に可能である。 In the above embodiment, the reference distance is described as being uniformly defined in the operation screen displayed on the monitor 1A. However, the scope of application of the present invention is not limited to this. For example, the present invention can naturally be applied to a configuration in which the operation screen is divided into a plurality of sections and a reference distance is set for each section.

上記実施形態では、カーソルＣｕの軌跡移動距離を記録枚数決定部１７により決定された記録枚数で除することにより抽出距離を算出し、軌跡移動距離が当該抽出距離に達する毎に抽出タイミングとして記録キャプチャ画像を抽出するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。カーソルＣｕの軌跡移動距離に替えて、カーソルＣｕが２つのクリック位置の間を移動するのに要した時間を用いて抽出タイミングを算出するようにすることも可能である。具体的には、２つのクリック位置の間を移動するのに要した時間を決定された記録枚数で除することにより抽出時間を算出し、カーソルＣｕの移動時間が抽出時間に達する毎に抽出タイミングとして記録キャプチャ画像を抽出するようにすると良い。カーソルＣｕの移動時間は、直接カーソル位置情報から算出すると好適である。このような抽出タイミングの決定であっても、効率良く記録キャプチャ画像を記録することが可能である。 In the above embodiment, the extraction distance is calculated by dividing the trajectory movement distance of the cursor Cu by the number of recordings determined by the recording number determining unit 17, and each time the trajectory movement distance reaches the extraction distance, the recording capture is performed as the extraction timing. It was described as extracting an image. However, the scope of application of the present invention is not limited to this. It is also possible to calculate the extraction timing using the time required for the cursor Cu to move between the two click positions instead of the locus movement distance of the cursor Cu. Specifically, the extraction time is calculated by dividing the time required to move between the two click positions by the determined number of recorded sheets, and the extraction timing every time the movement time of the cursor Cu reaches the extraction time. It is better to extract a recorded capture image as follows. It is preferable to calculate the movement time of the cursor Cu directly from the cursor position information. Even when the extraction timing is determined as described above, it is possible to efficiently record the captured image.

上記実施形態では、画像記録部２１に記録される記録キャプチャ画像は、キャプチャ画像格納部２０に格納されているキャプチャ画像を抽出されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、図６のフローチャートのステップ＃０９において、抽出指示に対応するキャプチャ画像がキャプチャ画像格納部２０に格納されていない場合には、本キャプチャ画像記録装置１に補間画像生成部１３を備え、当該補間画像生成部１３が前後のキャプチャ画像とカーソル位置情報に基づいて、抽出指示に対応する補間画像を生成するように構成することも可能である。この場合におけるキャプチャ画像記録装置１の概略構成を模式的に示したブロック図を図７に示す。 In the above-described embodiment, it has been described that the captured captured image recorded in the image recording unit 21 is extracted from the captured image stored in the captured image storage unit 20. However, the scope of application of the present invention is not limited to this. For example, if the captured image corresponding to the extraction instruction is not stored in the captured image storage unit 20 in step # 09 in the flowchart of FIG. 6, the captured image recording apparatus 1 includes the interpolation image generation unit 13, The interpolation image generation unit 13 may be configured to generate an interpolation image corresponding to the extraction instruction based on the previous and next captured images and cursor position information. FIG. 7 is a block diagram schematically showing a schematic configuration of the captured image recording apparatus 1 in this case.

補間画像生成部１３は、以下のように補間画像の生成を行うと好適である。まず、記録キャプチャ画像抽出部１８は、抽出指示の抽出時間に対応するタイムスタンプのキャプチャ画像がキャプチャ画像格納部２０に無い場合に、補間画像生成部１３に対して補間画像生成指示を行う。補間画像生成部１３はこの補間画像生成指示を受けて、カーソル情報取得部１２により取得されたカーソル位置情報から抽出指示の抽出時間に対応するカーソルＣｕの座標を決定する。次に、キャプチャ画像格納部２０に格納されている、抽出指示の抽出時間に対応する時間の前後いずれかのキャプチャ画像からカーソルＣｕを画像処理により削除して背景画像を生成する。そして、この背景画像に対して、決定された座標に対応するようにカーソルＣｕのイメージを合成する。このようにして補間画像が生成される。生成された補間画像は、適宜、画像記録部２１に記録される。したがって、抽出指示の抽出時間に対応するタイムスタンプのキャプチャ画像がキャプチャ画像格納部２０にない場合であってもキャプチャ画像記録装置１は、補間画像を生成することにより、抽出指示に応じて記録キャプチャ画像を記録することが可能となる。 The interpolated image generation unit 13 preferably generates an interpolated image as follows. First, the recording capture image extraction unit 18 instructs the interpolation image generation unit 13 to generate an interpolation image when there is no capture image having a time stamp corresponding to the extraction time of the extraction instruction in the capture image storage unit 20. In response to this interpolation image generation instruction, the interpolation image generation unit 13 determines the coordinates of the cursor Cu corresponding to the extraction instruction extraction time from the cursor position information acquired by the cursor information acquisition unit 12. Next, the background image is generated by deleting the cursor Cu from the captured image stored in the captured image storage unit 20 before or after the time corresponding to the extraction time of the extraction instruction by image processing. Then, an image of the cursor Cu is synthesized with this background image so as to correspond to the determined coordinates. In this way, an interpolation image is generated. The generated interpolated image is recorded in the image recording unit 21 as appropriate. Therefore, even when the captured image having the time stamp corresponding to the extraction time of the extraction instruction is not in the captured image storage unit 20, the captured image recording apparatus 1 generates the interpolation image, thereby recording and capturing in accordance with the extraction instruction. Images can be recorded.

上記実施形態では、キャプチャ画像は図示しないキャプチャ画像生成部により生成されてキャプチャ画像格納部２０に格納されているとして説明した。例えば、キャプチャ画像と操作ログ情報とカーソル位置情報とカーソル移動情報とを、例えばＤＶＤやハードディスク等の保存部を用いてキャプチャ画像記録装置１に送信（入力）するような構成とすることも可能である。このような場合には、ＤＶＤやハードディスク等の保存部がキャプチャ画像格納部２０と同様に機能し、ＤＶＤやハードディスク等に記録されたキャプチャ画像を、キャプチャ画像記録装置１の処理に応じて出力される抽出指示の出力タイミングに応じて画像記録部２１に記録することは、当然に可能である。したがって、例えばＤＶＤやハードディスク等の保存部への保存後、適当な時に本発明に係る処理を行うことが可能である。 In the above embodiment, the capture image has been described as being generated by a capture image generation unit (not shown) and stored in the capture image storage unit 20. For example, the captured image, operation log information, cursor position information, and cursor movement information can be transmitted (input) to the captured image recording apparatus 1 using a storage unit such as a DVD or a hard disk. is there. In such a case, the storage unit such as a DVD or a hard disk functions in the same manner as the capture image storage unit 20, and the captured image recorded on the DVD or the hard disk is output according to the processing of the capture image recording apparatus 1. Naturally, it is possible to record in the image recording unit 21 in accordance with the output timing of the extraction instruction. Therefore, for example, the processing according to the present invention can be performed at an appropriate time after storage in a storage unit such as a DVD or a hard disk.

上記実施形態では、キャプチャ画像記録装置１は、キャプチャ画像を記録するだけでなく、文字入力や各種演算処理が行うことが可能なコンピュータ端末としても使用可能である、即ちキャプチャ画像記録装置１はコンピュータ端末に対してスタンドアローン型で構成されているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、本発明に係るキャプチャ画像記録装置１によるキャプチャ画像の記録機能、すなわち２点間距離算出部１５や抽出条件決定部１６や記録枚数決定部１７や記録キャプチャ画像抽出部１８や基準距離設定部１９といった機能をモジュール化してネットワークを介したコンピュータで実行可能なアプリケーションとし、各端末からキャプチャ画像と操作ログ情報とカーソル情報とを入手することにより、サーバ型のキャプチャ画像記録装置１とすることは当然に可能である。 In the above-described embodiment, the captured image recording apparatus 1 can be used not only as a captured image but also as a computer terminal capable of performing character input and various arithmetic processes. That is, the captured image recording apparatus 1 is a computer. It has been described that the terminal is configured as a stand-alone type. However, the scope of application of the present invention is not limited to this. For example, the capture image recording function of the capture image recording apparatus 1 according to the present invention, that is, the distance calculation unit 15 between two points, the extraction condition determination unit 16, the recording number determination unit 17, the record capture image extraction unit 18, and the reference distance setting unit It is possible to make the server type captured image recording apparatus 1 by modularizing the function 19 and making it an application that can be executed by a computer via a network, and obtaining a captured image, operation log information, and cursor information from each terminal. Of course it is possible.

上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。キャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、操作ログ情報とカーソル位置情報とから位置評価値を算出し、その位置評価値に応じて記録容量の低減化を行うことは当然に可能である。また、画像記録部２１に記録された記録キャプチャ画像をモニタ１Ａで表示する際も、静止画の連続表示（スライドショーのようなスタイル）でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部２０に記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはＪＰＥＧやＧＩＦ等が、動画の場合にはＭＰＥＧやＡＶＩ等が用いられる。 In the above embodiment, the capture image has been described as a still image file obtained by capturing an operation screen or a collection of still image files, but is not limited thereto. Of course, the captured image may be a still image or a moving image. Even when the captured image is a moving image, it is naturally possible to calculate the position evaluation value from the operation log information and the cursor position information and reduce the recording capacity according to the position evaluation value. Further, when displaying the recorded captured image recorded in the image recording unit 21 on the monitor 1A, it may be a continuous display of still images (style like a slide show) or a moving image display, and an appropriate still image may be displayed as necessary. A picture-moving picture program and a moving picture-still picture program are implemented. Furthermore, various types of capture images can be selected when recorded in the capture image storage unit 20. For example, JPEG or GIF is used for still images, and MPEG or AVI is used for moving images.

キャプチャ画像記録装置の構成を模式的に示した図A diagram schematically showing the configuration of a captured image recording device キャプチャ画像記録装置の概略構成を模式的に示したブロック図Block diagram schematically showing the schematic configuration of the captured image recording device 操作画面の一例を示した図Figure showing an example of the operation screen カーソル位置情報の一例を示した図Figure showing an example of cursor position information 画像記録部に記録された記録キャプチャ画像の一例を示す図The figure which shows an example of the recording capture image recorded on the image recording part 記録キャプチャ画像を記録するためのフローチャート図Flowchart diagram for recording a record capture image 補間画像生成部を有するキャプチャ画像記録装置の構成を模式的に示した図The figure which showed typically the structure of the capture image recording device which has an interpolation image generation part.

符号の説明Explanation of symbols

１：キャプチャ画像記録装置
１０：操作ログ情報取得部
１１：特定操作イベント検出部
１２：カーソル情報取得部
１５：２点間距離算出部
１６：抽出条件決定部
１７：記録枚数決定部
１８：記録キャプチャ画像抽出部
１９：基準距離設定部
２０：キャプチャ画像格納部
２１：画像記録部 1: Captured image recording apparatus 10: Operation log information acquisition unit 11: Specific operation event detection unit 12: Cursor information acquisition unit 15: Distance between two points calculation unit 16: Extraction condition determination unit 17: Number of recordings determination unit 18: Record capture Image extraction unit 19: Reference distance setting unit 20: Captured image storage unit 21: Image recording unit

Claims

操作画面をキャプチャして得られるキャプチャ画像を、前記操作画面上で操作されるポインティングデバイスの操作に応じて、画像記録部に記録するキャプチャ画像記録装置において、
クライアント端末の特定操作イベントを検出する特定操作イベント検出部と、
前記特定操作イベント検出部によって検出された２つの特定操作イベントに基づいたポインティングデバイス位置の直線距離である２点間距離を算出する２点間距離算出部と、
前記２点間距離を所定の基準距離で除することにより前記画像記録部に記録される記録キャプチャ画像の記録枚数を決定する記録枚数決定部と、
前記２つの特定操作イベントが行われた間でキャプチャされたキャプチャ画像から前記記録枚数決定部により決定された記録枚数分の記録キャプチャ画像を抽出する記録キャプチャ画像抽出部と、
を備えるキャプチャ画像記録装置。 In a captured image recording apparatus that records a captured image obtained by capturing an operation screen in an image recording unit according to an operation of a pointing device operated on the operation screen,
A specific operation event detection unit for detecting a specific operation event of the client terminal;
A point-to-point distance calculation unit that calculates a point-to-point distance that is a linear distance of the pointing device position based on the two specific operation events detected by the specific operation event detection unit;
A recording number determining unit for determining the number of recording captured images to be recorded in the image recording unit by dividing the distance between the two points by a predetermined reference distance;
A record capture image extraction unit that extracts a record capture image corresponding to the number of recordings determined by the recording number determination unit from a captured image captured between the two specific operation events;
A captured image recording apparatus.

前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントが行われた間の前記ポインティングデバイスのカーソルの軌跡移動距離と前記決定された記録枚数とによって算定される前記カーソルの移動距離毎に、前記記録キャプチャ画像を抽出する請求項１に記載のキャプチャ画像記録装置。 The recording capture image extraction unit is configured to calculate the cursor movement distance calculated by the cursor movement distance of the pointing device during the two specific operation events and the determined number of recordings. The captured image recording apparatus according to claim 1, wherein a recorded captured image is extracted.

前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントが行われた間の前記ポインティングデバイスのカーソルの移動時間と前記決定された記録枚数とによって算定される前記カーソルの移動時間毎に、前記記録キャプチャ画像を抽出する請求項１に記載のキャプチャ画像記録装置。 The record capture image extraction unit performs the recording for each cursor movement time calculated based on the cursor movement time of the pointing device and the determined number of recordings during the two specific operation events. The captured image recording apparatus according to claim 1, wherein a captured image is extracted.

前記記録キャプチャ画像抽出部が抽出するキャプチャ画像が存在しない場合に、対応する補間画像を生成する補間画像生成部が備えられている請求項２又は３に記載のキャプチャ画像記録装置。 The capture image recording apparatus according to claim 2, further comprising an interpolation image generation unit configured to generate a corresponding interpolation image when there is no capture image extracted by the record capture image extraction unit.

前記記録キャプチャ画像抽出部は、前記２つの特定操作イベントの間に、前記特定操作イベント以外の所定の操作イベントが存在する場合にも、付加的に記録キャプチャ画像を抽出する請求項１から４のいずれか一項に記載のキャプチャ画像記録装置。 5. The record capture image extracting unit additionally extracts a record capture image even when a predetermined operation event other than the specific operation event exists between the two specific operation events. The captured image recording apparatus according to any one of the above.

操作画面をキャプチャして得られるキャプチャ画像を、前記操作画面上で操作されるポインティングデバイスの操作に応じて、画像記録部に記録するキャプチャ画像記録装置のためのキャプチャ画像記録プログラムにおいて、
クライアント端末の特定操作イベントを検出する特定操作イベント検出機能と、
検出された２つの特定操作イベントに基づいたポインティングデバイス位置の直線距離である２点間距離を算出する２点間距離算出機能と、
前記２点間距離を所定の基準距離で除することにより前記画像記録部に記録される記録キャプチャ画像の記録枚数を決定する記録枚数決定機能と、
前記２つの特定操作イベントが行われた間でキャプチャされたキャプチャ画像から、決定された記録枚数分の記録キャプチャ画像を抽出する記録キャプチャ画像抽出機能と、
をコンピュータに実行させるキャプチャ画像記録プログラム。 In a captured image recording program for a captured image recording apparatus that records a captured image obtained by capturing an operation screen in an image recording unit according to an operation of a pointing device operated on the operation screen.
A specific operation event detection function for detecting a specific operation event of the client terminal;
A point-to-point distance calculation function for calculating a point-to-point distance that is a linear distance of the pointing device position based on two detected specific operation events;
A recording number determining function for determining the number of recorded captured images to be recorded in the image recording unit by dividing the distance between the two points by a predetermined reference distance;
A record capture image extraction function for extracting a record capture image corresponding to the determined number of recordings from a capture image captured during the two specific operation events;
Captured image recording program that causes a computer to execute.