JP4247294B2 - Recording device and program for the recording device - Google Patents

Recording device and program for the recording device Download PDF

Info

Publication number
JP4247294B2
JP4247294B2 JP2008003502A JP2008003502A JP4247294B2 JP 4247294 B2 JP4247294 B2 JP 4247294B2 JP 2008003502 A JP2008003502 A JP 2008003502A JP 2008003502 A JP2008003502 A JP 2008003502A JP 4247294 B2 JP4247294 B2 JP 4247294B2
Authority
JP
Japan
Prior art keywords
captured image
recording
reduction processing
evaluation value
mouse cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008003502A
Other languages
Japanese (ja)
Other versions
JP2008259175A (en
Inventor
稔 和仁
直樹 本永
Original Assignee
Sky株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sky株式会社 filed Critical Sky株式会社
Priority to JP2008003502A priority Critical patent/JP4247294B2/en
Publication of JP2008259175A publication Critical patent/JP2008259175A/en
Application granted granted Critical
Publication of JP4247294B2 publication Critical patent/JP4247294B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Facsimiles In General (AREA)
  • Storing Facsimile Image Data (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

本発明は、操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置とそのような記録装置のためのプログラムに関する。   The present invention relates to a recording apparatus that records a captured image obtained by capturing an operation screen, and a program for such a recording apparatus.

近年、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このような目的を達成する技術の一つとして、コンピュータ端末の操作画面をキャプチャし、そのキャプチャ画像を確認することにより、コンピュータ端末の操作状況を把握する技術がある(例えば、特許文献1)。この特許文献1に係る遠隔制御システムでは、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されており、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付ける構成としている。クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録後に遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行っている。しかしながら、この特許文献1に係る技術は、単にキャプチャ画像を再生するだけであり、例えば、クライアント端末の操作画面を長時間記録する場合にはそのデータ量が膨大になり、操作画面を記録するための記録容量が不足してしまうといった問題がある。   In recent years, with the widespread use of networks such as intranets and local area networks, the number of cases in which the operation status of a remote computer terminal is checked for the purpose of monitoring computer terminals connected to the network or for classes using the network has increased. Yes. As one technique for achieving such an object, there is a technique for grasping the operation status of a computer terminal by capturing an operation screen of the computer terminal and confirming the captured image (for example, Patent Document 1). In the remote control system according to Patent Document 1, a remote control server and a client terminal are connected via a communication network, and the remote control server is configured to receive access request information from the client terminal. The client terminal transmits the image data displayed on the monitor to the remote control server, and the remote control server displays the received image data on the monitor, and the captured image recording means of the remote control server captures the screen of the client terminal. The image is recorded in the operation log at a predetermined interval, and after this recording, the log reproduction processing unit of the remote control server reproduces the captured image recorded in the operation log. However, the technique according to Patent Document 1 simply reproduces a captured image. For example, when an operation screen of a client terminal is recorded for a long time, the amount of data becomes enormous and the operation screen is recorded. There is a problem that the recording capacity of the camera becomes insufficient.

特開2006−108947号公報(段落番号0051等)JP 2006-108947 A (paragraph number 0051, etc.)

本発明の目的は、上記問題に鑑み操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置において、記録領域が不足しないようにキャプチャ画像を変更する記録装置とそのような記録装置のためのプログラムを提供することである。   An object of the present invention is to provide a recording apparatus that records a captured image obtained by capturing an operation screen in view of the above problems, and a recording apparatus that changes a captured image so as not to run out of a recording area. Is to provide a program.

上記目的を達成するための本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像をキャプチャ画像格納部に記録する記録装置において、前記操作画面上でのポインティングデバイスのカーソルの動作を表すカーソル位置情報と、前記操作画面上におけるユーザが指定した位置を示す表示位置情報と、に基づいて前記カーソルの前記キャプチャ画像上での位置における重要度を規定する位置評価値を算定する位置評価値算定部と、前記キャプチャ画像毎に前記位置評価値に応じた記録容量低減化処理モードを決定する低減化処理モード決定部と、前記記録容量低減化処理モードに基づいて前記キャプチャ画像の所定領域に対して低減処理を行うことにより前記キャプチャ画像の記録容量を記録時に低減化する容量低減化処理部と、を備える点にある。   In order to achieve the above object, a recording apparatus according to the present invention is characterized in that, in a recording apparatus that records a captured image obtained by capturing an operation screen in a captured image storage unit, a cursor of a pointing device on the operation screen A position evaluation value that defines the importance of the cursor on the captured image is calculated based on the cursor position information indicating the movement of the cursor and the display position information indicating the position designated by the user on the operation screen. A position evaluation value calculation unit that performs a reduction processing mode determination unit that determines a recording capacity reduction processing mode corresponding to the position evaluation value for each captured image, and the captured image based on the recording capacity reduction processing mode. The capacity for reducing the recording capacity of the captured image at the time of recording by performing a reduction process on a predetermined area of In that it comprises a reducing treatment unit.

このような構成とすれば、マウスカーソルのキャプチャ画像上での位置における重要度を規定する位置評価値に応じてキャプチャ画像の記録容量を低減化することができるため、効果的に記録領域の消費を抑えることが可能となる。したがって、記録領域不足の問題を発生しにくくすることができる。   With such a configuration, the recording capacity of the captured image can be reduced according to the position evaluation value that defines the importance of the position of the mouse cursor on the captured image. Can be suppressed. Therefore, the problem of insufficient recording area can be made difficult to occur.

また、前記記録装置は、前記キャプチャ画像を格納するキャプチャ画像格納部を備えると共に、前記キャプチャ画像に対してリアルタイムで記録容量の低減化を行った後、前記キャプチャ画像格納部に記録する構成であると好適である。このような構成とすれば、リアルタイムで記録容量の低減化を行うことができるため、キャプチャ画像を記録しておく記録領域の消費を抑えることが可能となる。   In addition, the recording apparatus includes a capture image storage unit that stores the capture image, and performs recording in the capture image storage unit after reducing the recording capacity of the capture image in real time. It is preferable. With such a configuration, since the recording capacity can be reduced in real time, it is possible to suppress the consumption of the recording area for recording the captured image.

また、前記記録装置は、前記キャプチャ画像を格納するキャプチャ画像格納部を備えると共に、前記キャプチャ画像格納部に格納されたキャプチャ画像に対してバッチ処理で記録容量の低減化を行った後、前記キャプチャ画像格納部に再記録する構成であっても良い。このような構成とすれば、記録容量の低減化を行ったキャプチャ画像をキャプチャ画像格納部に記録しつつ、その後、所定時間経過したキャプチャ画像格納部のキャプチャ画像に対して、更に記録容量の低減化を行うためキャプチャ画像格納部の容量を容易に確保することが可能となる。   In addition, the recording apparatus includes a capture image storage unit that stores the capture image, and performs a batch process to reduce the recording capacity of the capture image stored in the capture image storage unit, and then performs the capture It may be configured to re-record in the image storage unit. With such a configuration, the captured image with the reduced recording capacity is recorded in the captured image storage unit, and then the recording capacity is further reduced with respect to the captured image stored in the captured image storage unit after a predetermined time has elapsed. Therefore, it is possible to easily secure the capacity of the captured image storage unit.

更に、本発明では、操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置のためのプログラムも権利範囲としており、そのコンピュータプログラムは、前記操作画面上でのマウスカーソルの動作を表すマウスカーソル位置情報と、前記操作画面上におけるユーザが指定した位置を示す表示位置情報と、に基づいて前記マウスカーソルの前記キャプチャ画像上での位置における重要度を規定する位置評価値を算定する位置評価値算定機能と、前記キャプチャ画像毎に前記位置評価値に応じた記録容量低減化処理モードを決定する低減化処理モード決定機能と、前記記録容量低減化処理モードに基づいて前記キャプチャ画像の記録容量を低減化する容量低減化処理機能と、をコンピュータに実現させることが可能である。   Further, in the present invention, a program for a recording apparatus for recording a captured image obtained by capturing an operation screen is also included in the scope of rights, and the computer program includes a mouse cursor representing the operation of the mouse cursor on the operation screen. A position evaluation value for calculating a position evaluation value that defines the importance of the position of the mouse cursor on the captured image based on the position information and display position information indicating the position designated by the user on the operation screen. A calculation function, a reduction processing mode determination function for determining a recording capacity reduction processing mode according to the position evaluation value for each captured image, and a recording capacity of the capture image based on the recording capacity reduction processing mode It is possible to cause a computer to realize a capacity reduction processing function to be reduced.

このように構成された記録装置のためのプログラムも上述した本発明の対象としての記録装置と比べて、実質的な特徴構成には相違はなく、上述した作用効果を得ることが可能である。   The program for the recording apparatus configured as described above is not substantially different from the recording apparatus as the object of the present invention described above, and can obtain the above-described effects.

〔本発明の第一実施形態〕
以下、本発明に係る記録装置を使用する場合の一例として、図1のように構成されたコンピュータネットワークシステムを用いて説明する。図1は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末1と、この端末1の操作状況を記録する記録装置2とからなる。端末1をユーザが使用している際に端末1のモニタ1Aに表示される操作画面に基づくキャプチャ画像と、そのキャプチャ画像に表示される表示物の表示位置情報と、ユーザのマウス操作に基づいて記録されるマウスカーソル位置情報と、が各端末1から記録装置2に送信される。したがって、各端末1のモニタ1Aに表示される操作画面が記録装置2に記録されている状態にあると考えてよい。なお、キャプチャ画像は、端末1に備えられるキャプチャ画像生成部(図示しない)により生成される。また、本実施形態においては、キャプチャ画像と表示位置情報とマウスカーソル位置情報とは別々に送信されるものとしているが、これに限るものではない。これらのキャプチャ画像と表示位置情報とマウスカーソル位置情報とを含む操作情報が、一括して記録装置2に送信される構成とすることも当然に可能である。
[First embodiment of the present invention]
Hereinafter, as an example of using the recording apparatus according to the present invention, a description will be given using a computer network system configured as shown in FIG. FIG. 1 is a block diagram schematically showing this computer network system. A terminal 1 on which various files are created, viewed, copied, modified, deleted, printed, etc. by a user, and the operation of this terminal 1 are shown. And a recording device 2 for recording the situation. Based on the capture image based on the operation screen displayed on the monitor 1A of the terminal 1 when the user is using the terminal 1, the display position information of the display object displayed on the capture image, and the user's mouse operation The mouse cursor position information to be recorded is transmitted from each terminal 1 to the recording device 2. Therefore, it may be considered that the operation screen displayed on the monitor 1 </ b> A of each terminal 1 is recorded in the recording device 2. Note that the capture image is generated by a capture image generation unit (not shown) provided in the terminal 1. In the present embodiment, the captured image, the display position information, and the mouse cursor position information are transmitted separately, but the present invention is not limited to this. Naturally, it is also possible to adopt a configuration in which operation information including these captured images, display position information, and mouse cursor position information is transmitted to the recording apparatus 2 at once.

図2は、記録装置2の構成を模式的に示すブロック図である。記録装置2は、ネットワークに接続された端末1から送信されるマウスカーソル位置情報を格納するマウスカーソル位置情報格納部11を備える。このマウスカーソル位置情報は、端末1におけるユーザのマウス操作に基づいて記録されるマウスカーソルCuの位置情報からなる。また、本記録装置2は、表示位置情報を格納する表示位置情報格納部10も備える。この表示位置情報は、端末1が有するモニタ1Aに表示されるアイコンの座標を表すアイコン情報と、アプリケーションのウィンドウの座標を表すウィンドウ情報と、タスクバーの座標を表すタスクバー情報とからなる。なお、アイコンやアプリケーションのウィンドウやタスクバーはキャプチャ画像に表示される表示物として定義される。これらの情報は、夫々アイコン情報格納部10aと、ウィンドウ情報格納部10bと、タスクバー情報格納部10cとに格納される。   FIG. 2 is a block diagram schematically showing the configuration of the recording apparatus 2. The recording device 2 includes a mouse cursor position information storage unit 11 that stores mouse cursor position information transmitted from the terminal 1 connected to the network. The mouse cursor position information includes position information of the mouse cursor Cu recorded based on the user's mouse operation on the terminal 1. The recording apparatus 2 also includes a display position information storage unit 10 that stores display position information. This display position information includes icon information representing the coordinates of icons displayed on the monitor 1A of the terminal 1, window information representing the coordinates of the application window, and task bar information representing the coordinates of the task bar. Note that icons, application windows, and task bars are defined as display objects to be displayed on the captured image. These pieces of information are stored in the icon information storage unit 10a, the window information storage unit 10b, and the task bar information storage unit 10c, respectively.

マウスカーソル位置情報には、端末1でのマウスカーソルCuの位置情報が記録されており、この位置情報が取得された取得時間とその取得時間におけるマウスカーソルCuのx座標とy座標とが記録されている(詳細は後述する)。また、アイコン情報、ウィンドウ情報、タスクバー情報にも、夫々の座標が取得された取得時間とその取得時間におけるx座標とy座標とが記録される(詳細は後述する)。なお、これらの座標はモニタ1Aに表示される際の座標である。   In the mouse cursor position information, the position information of the mouse cursor Cu at the terminal 1 is recorded, and the acquisition time when the position information is acquired and the x and y coordinates of the mouse cursor Cu at the acquisition time are recorded. (Details will be described later). Also, the acquisition time when the respective coordinates are acquired and the x-coordinate and y-coordinate at the acquisition time are recorded in the icon information, window information, and task bar information (details will be described later). These coordinates are the coordinates when displayed on the monitor 1A.

記録装置2が備える位置評価値算定部12は、マウスカーソル位置情報と、アイコン情報と、ウィンドウ情報と、タスクバー情報とに基づいてマウスカーソルCuの位置評価値の算定を行う。この位置評価値は、マウスカーソルCuのキャプチャ画像上での位置における重要度を規定するものである。詳細は後述するが、本記録装置2は、この位置評価値に基づいてマウスカーソルCuがアイコン上、或いは起動しているアプリケーションのウィンドウ上、或いはタスクバー上にあるか否かを識別することが可能である。例えば、マウスカーソルCuがアイコン上にある場合にはアプリケーションの起動やフォルダを開く操作等の前段階である可能性が高く、アプリケーションのウィンドウ上にある場合にはアプリケーションの操作中である可能性が高い。また、タスクバー上にある場合にはアプリケーションの起動等の前段階である可能性が高い。したがって、位置評価値に基づいてこのような操作を事前に予測することが可能となる。一方、マウスカーソルCuが、アイコン上やアプリケーションのウィンドウ上やタスクバー上の何れにも位置しない場合には、マウスカーソルCuが、それ以外の領域上で静止しているか、或いはそれ以外の領域上を移動しているかの何れかである可能性が高いことから、アプリケーションやファイルの操作等がされていないと予測することができる。   The position evaluation value calculation unit 12 included in the recording device 2 calculates the position evaluation value of the mouse cursor Cu based on the mouse cursor position information, icon information, window information, and task bar information. This position evaluation value defines the importance of the position of the mouse cursor Cu on the captured image. As will be described in detail later, the recording apparatus 2 can identify whether the mouse cursor Cu is on the icon, the window of the running application, or the task bar based on the position evaluation value. It is. For example, when the mouse cursor Cu is on an icon, there is a high possibility that it is a previous stage such as starting an application or opening a folder, and when it is on an application window, there is a possibility that the application is being operated. high. Also, if it is on the taskbar, it is highly possible that it is a previous stage such as starting an application. Therefore, such an operation can be predicted in advance based on the position evaluation value. On the other hand, when the mouse cursor Cu is not positioned on the icon, the application window, or the task bar, the mouse cursor Cu is stationary on the other area or on the other area. Since there is a high possibility that it is moving, it can be predicted that no application or file operation has been performed.

本記録装置2は、端末1から送信されるキャプチャ画像に対してリアルタイムで位置評価値に応じた記録容量低減化処理モードを決定し、この記録容量低減化処理モードに応じた記録容量の低減化を行って記録する機能を有する。記録容量低減化処理モードの決定は、低減化処理モード決定部13が行う。位置評価値が、マウスカーソルCuがアイコン上やアプリケーションのウィンドウ上やタスクバー上の何れにも位置しない状態を示す場合には、容量低減化処理部14が備える画像間引き部14aが端末1から送信されたキャプチャ画像に対して画像の間引き(削除)処理、若しくは階調度の変更処理(低減処理)のいずれか一方の処理を行う。そして、これらいずれかの処理が施されたキャプチャ画像はキャプチャ画像格納部15に格納される。上記のように記録容量の低減化処理を行うことにより、アプリケーションやファイルの操作等がされていないと予測されたキャプチャ画像は削除される。以下説明ではキャプチャ画像全体に対する処理は、特に断りが無い限り、画像の間引き処理を行うものとして説明するが、階調度の低減処理を行うことも当然に可能である。   The recording apparatus 2 determines a recording capacity reduction processing mode corresponding to the position evaluation value in real time for the captured image transmitted from the terminal 1, and reduces the recording capacity according to the recording capacity reduction processing mode. Has a function of performing recording. The recording capacity reduction processing mode is determined by the reduction processing mode determination unit 13. When the position evaluation value indicates a state in which the mouse cursor Cu is not positioned on the icon, the application window, or the task bar, the image thinning unit 14 a included in the capacity reduction processing unit 14 is transmitted from the terminal 1. Either the image thinning (deletion) processing or the gradation change processing (reduction processing) is performed on the captured image. The captured image subjected to any of these processes is stored in the captured image storage unit 15. By performing the recording capacity reduction process as described above, a captured image that is predicted not to be operated by an application or a file is deleted. In the following description, the processing for the entire captured image is described as performing the thinning-out processing of the image unless otherwise specified, but it is naturally possible to perform the gradation reduction processing.

また、位置評価値が、マウスカーソルCuがアプリケーションのウィンドウ上、若しくはタスクバー上の何れか一方に位置する状態を示す場合に、容量低減化処理部14が備える階調度変更部14bが端末1から送信されたキャプチャ画像に対して階調度の低減処理を行うようにすると好適である。この低減処理は、マウスカーソルCuがアプリケーションのウィンドウ上にあればキャプチャ画像の中のウィンドウ以外の領域に対して施され、またマウスカーソルCuがタスクバー上にあればキャプチャ画像の中のタスクバー以外の領域に対して施される。このようにアイコン情報やアプリケーションのウィンドウ情報やタスクバー情報に基づいて位置評価値の算定が行われるため、効果的に記録容量の低減化を行うことが可能となる。   Further, when the position evaluation value indicates a state where the mouse cursor Cu is positioned on either the application window or the task bar, the gradation level changing unit 14b included in the capacity reduction processing unit 14 transmits from the terminal 1. It is preferable to perform gradation reduction processing on the captured image. If the mouse cursor Cu is on the application window, the reduction process is performed on the area other than the window in the captured image. If the mouse cursor Cu is on the task bar, the area other than the task bar in the captured image is applied. Is given to. As described above, since the position evaluation value is calculated based on the icon information, the application window information, and the taskbar information, the recording capacity can be effectively reduced.

上述のキャプチャ画像の間引き処理や階調度の低減処理は、記録装置2にキャプチャ画像が送信されてきたタイミング、すなわちリアルタイムで行われる。したがって、これらの処理を行うことにより、キャプチャ画像の記録領域の消費を抑えることが可能となると共に、記録時や再生時におけるメモリ容量が不足するといった問題を生じにくくすることも可能となる。   The above-described thinning-out processing of the captured image and gradation level reduction processing are performed at the timing when the captured image is transmitted to the recording apparatus 2, that is, in real time. Therefore, by performing these processes, it becomes possible to suppress the consumption of the recording area of the captured image, and it is also possible to make it difficult to cause a problem that the memory capacity is insufficient during recording and reproduction.

キャプチャ画像格納部15に記録されたキャプチャ画像は、画像再生部16に伝達され、VRAM(Video Random Access Memory)17を介してモニタ2Aに再生画面として再生される。また、この記録装置2は、CPUを中核部材として記録処理に関する種々の動作を行うための機能部をハードウェア又はソフトウェア或いはその両方で構築されている。   The captured image recorded in the captured image storage unit 15 is transmitted to the image reproduction unit 16 and reproduced as a reproduction screen on the monitor 2A via a VRAM (Video Random Access Memory) 17. Further, the recording apparatus 2 has a functional unit for performing various operations related to recording processing with a CPU as a core member, and is constructed by hardware and / or software.

次に、表示位置情報について説明する。図3は、所定時間毎に端末1から表示位置情報として送信されるアイコン情報の一例を示している。このアイコン情報は、モニタ1Aの画面上に位置するアイコンの座標を表すものであり、図3ではモニタ1Aの操作画面上にアイコンが7つ配置されている例を示す(アイコン1からアイコン7までの情報がある)。取得時間「17時23分16秒」の場合には、アイコン1の座標は「(30,725)−(55,755)」と示されている。これは、アイコン1が占める領域(以下、アイコン領域とする)の座標を示し、アイコン領域の左下の座標が(30,725)であり、アイコン領域の右上の座標が(55,755)であることを示している(図4参照)。したがって、これらの座標で囲まれた領域がアイコン1のアイコン領域となる。   Next, display position information will be described. FIG. 3 shows an example of icon information transmitted as display position information from the terminal 1 every predetermined time. This icon information represents the coordinates of the icon located on the screen of the monitor 1A, and FIG. 3 shows an example in which seven icons are arranged on the operation screen of the monitor 1A (from icon 1 to icon 7). Information). In the case of the acquisition time “17:23:16”, the coordinates of the icon 1 are indicated as “(30,725)-(55,755)”. This indicates the coordinates of the area occupied by the icon 1 (hereinafter referred to as the icon area), the lower left coordinates of the icon area are (30,725), and the upper right coordinates of the icon area are (55,755). (See FIG. 4). Therefore, the area surrounded by these coordinates is the icon area of the icon 1.

以下、操作画面上に配置される他のアイコンについても同様にアイコン領域を示す座標がアイコン情報に示される。また、このアイコン情報は、取得時間毎に取得された座標が示され、ユーザ操作等によりアイコンが移動した場合であっても、その移動に応じて移動先の座標が示される。したがって、記録装置2は取得時間毎のアイコンの座標を認識することが可能となる。   In the following, for other icons arranged on the operation screen, the coordinates indicating the icon area are similarly indicated in the icon information. Further, this icon information indicates coordinates acquired at each acquisition time, and even when the icon is moved by a user operation or the like, the coordinates of the movement destination are indicated according to the movement. Therefore, the recording apparatus 2 can recognize the icon coordinates for each acquisition time.

図5は、所定時間毎に端末1から表示位置情報として送信されるアプリケーションのウィンドウ情報の一例を示したものである。ウィンドウ情報は、起動しているアプリケーションのウィンドウの座標を表すものである。取得時間「17時23分16秒」の場合には、「Null」となっており、開いているアプリケーションのウィンドウがない状態であることを示す。ここで、この「Null」の状態は、単に開いているアプリケーションのウィンドウがない状態を示すものであり、アプリケーションが起動しているか否かを識別するものではない。例えば、アプリケーションが起動していてもウィンドウ自体が最小化されている状態であればモニタ1Aにはウィンドウが表示されないため「Null」状態となり、このような状態も含まれる。   FIG. 5 shows an example of window information of an application transmitted as display position information from the terminal 1 every predetermined time. The window information represents the coordinates of the window of the running application. The acquisition time “17:23:16” is “Null”, indicating that there is no open application window. Here, the state of “Null” simply indicates a state in which there is no window of the open application, and does not identify whether or not the application is activated. For example, even if the application is activated, if the window itself is in a minimized state, the window is not displayed on the monitor 1A, and the “Null” state is set. Such a state is also included.

取得時間「17時23分19秒」の場合には、開いているウィンドウが存在し、その座標が「(165,165)−(845,655)」と示されている。これは、ウィンドウが占める領域(以下、ウィンドウ領域とする)の座標を示し、ウィンドウ領域の左下の座標が(165,165)であり、ウィンドウ領域の右上の座標が(845,655)であることを示している(図6参照)。したがって、これらの座標で囲まれた領域がウィンドウ領域となる。   In the case of the acquisition time “17:23:19”, there is an open window whose coordinates are indicated as “(165, 165)-(845, 655)”. This indicates the coordinates of the area occupied by the window (hereinafter referred to as the window area), the lower left coordinates of the window area are (165, 165), and the upper right coordinates of the window area are (845, 655). (See FIG. 6). Therefore, the area surrounded by these coordinates is the window area.

図7は、所定時間毎に端末1から表示位置情報として送信されるタスクバー情報の一例を示したものである。タスクバー情報は、モニタ1Aに表示されているタスクバーの座標を表すものである。取得時間「17時23分16秒」の場合には、「(0,0)−(1024,30)」と示されている。これは、タスクバーが占める領域(以下、タスクバー領域とする)の座標を示し、タスクバー領域の左下の座標が(0,0)であり、タスクバー領域の右上の座標が(1024,30)であることを示している(図8参照)。したがって、これらの座標で囲まれた領域がタスクバー領域となる。ここで、タスクバーは、キャプチャ画面に対して下端部にある座標で示したが、これに限らない。右端部や左端部や上端部、或いはそれ以外にあっても、その座標で示された領域がタスクバー領域となることは当然である。   FIG. 7 shows an example of task bar information transmitted as display position information from the terminal 1 every predetermined time. The task bar information represents the coordinates of the task bar displayed on the monitor 1A. In the case of the acquisition time “17:23:16”, “(0, 0) − (1024, 30)” is indicated. This indicates the coordinates of the area occupied by the task bar (hereinafter referred to as the task bar area), the lower left coordinates of the task bar area are (0, 0), and the upper right coordinates of the task bar area are (1024, 30). (See FIG. 8). Therefore, the area surrounded by these coordinates is the task bar area. Here, the task bar is indicated by the coordinates at the lower end with respect to the capture screen, but is not limited thereto. Of course, the area indicated by the coordinates is the task bar area even if it is located at the right end, left end, upper end, or other area.

次に、マウスカーソル位置情報について説明する。図9は、所定時間毎に端末1から送信されるマウスカーソル位置情報の一例を示している。マウスカーソル位置情報は、ユーザのマウス操作に応じて移動するマウスカーソルCuの座標を表すものである。取得時間「17時23分16秒」の場合には、マウスカーソルCuが「(530,405)」の位置にあることが示される。以下、同様に取得時間に応じたマウスカーソルCuの座標が示される。   Next, mouse cursor position information will be described. FIG. 9 shows an example of mouse cursor position information transmitted from the terminal 1 every predetermined time. The mouse cursor position information represents the coordinates of the mouse cursor Cu that moves according to the user's mouse operation. In the case of the acquisition time “17:23:16”, it is indicated that the mouse cursor Cu is at the position “(530, 405)”. Hereinafter, similarly, the coordinates of the mouse cursor Cu corresponding to the acquisition time are shown.

次に、位置評価値について説明する。図10は、所定時間毎に位置評価値算定部12により算定された位置評価値の一例を示すものである。位置評価値は、アイコン情報とウィンドウ情報とタスクバー情報とマウスカーソル位置情報とに基づいて、マウスカーソルCuが操作画面上のどの領域にあるかを算定された結果を示すものである。なお、図10には図3、図5、図7、図9の各情報から算定された位置評価値を示している。位置評価値の算定にあたり、まず、各情報に基づいてアイコン領域演算値とウィンドウ領域演算値とタスクバー領域演算値の算出が行われる。アイコン領域演算値は、同じ取得時間のアイコン情報に示されるアイコン領域の座標とマウスカーソル位置情報(マウスカーソルCuの座標)との論理積を演算して求められる。論理積が1であれば「1」として記録され、論理積が0であれば「0」として記録される。したがって、取得時間「17時23分17秒」の時にはマウスカーソルCuがアイコン領域上に位置し、それ以外の時間帯にはマウスカーソルCuはアイコン領域上に位置していないことがわかる。   Next, the position evaluation value will be described. FIG. 10 shows an example of the position evaluation value calculated by the position evaluation value calculation unit 12 every predetermined time. The position evaluation value indicates a result of calculating which region on the operation screen the mouse cursor Cu is based on icon information, window information, task bar information, and mouse cursor position information. FIG. 10 shows position evaluation values calculated from the information shown in FIGS. 3, 5, 7, and 9. In calculating the position evaluation value, first, an icon area calculated value, a window area calculated value, and a task bar area calculated value are calculated based on each information. The icon area calculation value is obtained by calculating a logical product of the coordinates of the icon area indicated by the icon information of the same acquisition time and the mouse cursor position information (coordinates of the mouse cursor Cu). If the logical product is 1, it is recorded as “1”, and if the logical product is 0, it is recorded as “0”. Therefore, it can be seen that the mouse cursor Cu is positioned on the icon area at the acquisition time “17:23:17”, and the mouse cursor Cu is not positioned on the icon area at other times.

ウィンドウ領域演算値は、同じ取得時間のウィンドウ情報に示されるウィンドウ領域の座標とマウスカーソル位置情報(マウスカーソルCuの座標)との論理積を演算して求められる。論理積が1であれば「2」として記録され、論理積が0であれば「0」として記録される。したがって、取得時間「17時23分19秒」の時にはマウスカーソルCuがウィンドウ領域上に位置し、それ以外の時間帯にはマウスカーソルCuはウィンドウ領域上に位置していないことがわかる。
The window area calculation value is obtained by calculating the logical product of the coordinates of the window area indicated by the window information at the same acquisition time and the mouse cursor position information (the coordinates of the mouse cursor Cu). If the logical product is 1, it is recorded as “2”, and if the logical product is 0, it is recorded as “0”. Therefore, it can be seen that the mouse cursor Cu is positioned on the window area at the acquisition time “17:23:19”, and the mouse cursor Cu is not positioned on the window area at other times.

タスクバー領域演算値は、同じ取得時間のタスクバー情報に示されるタスクバー領域の座標とマウスカーソル位置情報(マウスカーソルCuの座標)との論理積を演算して求められる。論理積が1であれば「3」として記録され、論理積が0であれば「0」として記録される。したがって、取得時間「17時23分20秒」の時にはマウスカーソルCuがタスクバー領域上に位置し、それ以外の時間帯にはマウスカーソルCuはタスクバー領域上に位置していないことがわかる。   The taskbar area calculation value is obtained by calculating the logical product of the coordinates of the taskbar area indicated by the taskbar information at the same acquisition time and the mouse cursor position information (the coordinates of the mouse cursor Cu). If the logical product is 1, it is recorded as “3”, and if the logical product is 0, it is recorded as “0”. Therefore, it can be seen that the mouse cursor Cu is positioned on the task bar area at the acquisition time “17:23:20”, and the mouse cursor Cu is not positioned on the task bar area at other times.

上記のように演算された各領域演算値を取得時間毎で加算することにより取得時間毎の位置評価値が算定される。例えば、取得時間「17時23分17秒」の場合には「1」となり、取得時間「17時23分19秒」の場合には「2」となる。このような位置評価値の算定は、取得時間毎に行われる。   The position evaluation value for each acquisition time is calculated by adding the region calculation values calculated as described above for each acquisition time. For example, when the acquisition time is “17:23:17”, the value is “1”, and when the acquisition time is “17:23:19”, the value is “2”. Such calculation of the position evaluation value is performed every acquisition time.

次に、端末1から送信されるキャプチャ画像について説明する。図11は、端末1のモニタ1Aに表示される所定時間毎のキャプチャ画像である。図11(a)は、取得時間「17時23分16秒」におけるキャプチャ画像である。このキャプチャ画像には、左端部にアイコン1からアイコン7が表示されており、下端部にタスクバーが表示されている。また、マウスカーソルCuは略中央に表示され、アイコン上やタスクバー上に位置していない。図11(b)は、取得時間「17時23分17秒」におけるキャプチャ画像である
。このキャプチャ画像では、アイコン7の上にマウスカーソルCuが位置している。以下同様に、各取得時間におけるキャプチャ画像が記録装置2に送信される。
Next, the captured image transmitted from the terminal 1 will be described. FIG. 11 is a captured image for every predetermined time displayed on the monitor 1 </ b> A of the terminal 1. FIG. 11A is a captured image at the acquisition time “17:23:16”. In this captured image, icons 1 to 7 are displayed at the left end, and a task bar is displayed at the lower end. In addition, the mouse cursor Cu is displayed in the approximate center and is not located on the icon or task bar. FIG. 11B is a captured image at the acquisition time “17:23:17”. In this captured image, the mouse cursor Cu is positioned on the icon 7. Similarly, the captured image at each acquisition time is transmitted to the recording apparatus 2.

次に、記録容量の低減化が行われたキャプチャ画像について説明する。位置評価値算定部12により算定されたマウスカーソルCuの位置評価値に応じて決定される記録容量低減化処理モードに基づいて、端末1から送信されるキャプチャ画像は記録容量の低減化が行われてキャプチャ画像格納部15に記録される。記録容量低減化処理モードは、位置評価値に応じて低減化処理モード決定部13が決定し、容量低減化処理部14により記録容量の低減化が行われる。なお、容量低減化処理部14が記録容量低減化処理モード、特に後述の階調度変更部14bが行う階調度の低減化を行う場合、階調度の低減対象となる領域の認識が必要であるが、この領域はウィンドウ情報格納部10bやタスクバー格納部10cに格納される座標から認識可能である。   Next, the captured image in which the recording capacity is reduced will be described. Based on the recording capacity reduction processing mode determined according to the position evaluation value of the mouse cursor Cu calculated by the position evaluation value calculation unit 12, the recording capacity of the captured image transmitted from the terminal 1 is reduced. Is recorded in the captured image storage unit 15. The recording capacity reduction processing mode is determined by the reduction processing mode determination unit 13 according to the position evaluation value, and the recording capacity is reduced by the capacity reduction processing unit 14. It should be noted that when the capacity reduction processing unit 14 performs the recording capacity reduction processing mode, particularly the gradation degree reduction performed by the gradation degree changing unit 14b described later, it is necessary to recognize the area to which the gradation degree is to be reduced. This area can be recognized from the coordinates stored in the window information storage unit 10b and the taskbar storage unit 10c.

以下に、図10に示された位置評価値と図11のキャプチャ画像に基づいて記録容量の低減化が行われたキャプチャ画像について説明する。取得時間「17時23分16秒」の位置評価値は、図10より「0」である。すると、低減化処理モード決定部13は、マウスカーソルCuがアイコンやアプリケーションのウィンドウやタスクバーの上に位置していないと判定し、容量低減化処理部14に対して共通のタイムスタンプを基づいてリンクする画像の間引き(削除)処理を命じる。したがって、図11(a)における取得時間「17時23分16秒」のキャプチャ画像は、キャプチャ画像格納部15に記録されないこととなる。次に、取得時間「17時23分17秒」の位置評価値は「1」である(図10参照)。すると、低減化処理モード決定部13は、マウスカーソルCuがアイコン上に位置していると判定し、容量低減化処理部14に対して記録容量の低減化処理命令を行わないため、端末1から送信されたキャプチャ画像(図11(b)参照)は、そのままキャプチャ画像格納部15に記録される。   Hereinafter, the captured image in which the recording capacity is reduced based on the position evaluation value shown in FIG. 10 and the captured image in FIG. 11 will be described. The position evaluation value for the acquisition time “17:23:16” is “0” from FIG. Then, the reduction processing mode determination unit 13 determines that the mouse cursor Cu is not positioned on the icon or application window or task bar, and links to the capacity reduction processing unit 14 based on a common time stamp. Order thinning (deletion) processing of images to be performed. Therefore, the captured image with the acquisition time “17:23:16” in FIG. 11A is not recorded in the captured image storage unit 15. Next, the position evaluation value at the acquisition time “17:23:17” is “1” (see FIG. 10). Then, the reduction processing mode determination unit 13 determines that the mouse cursor Cu is positioned on the icon, and does not issue a recording capacity reduction processing command to the capacity reduction processing unit 14. The transmitted captured image (see FIG. 11B) is recorded in the captured image storage unit 15 as it is.

取得時間「17時23分18秒」の位置評価値は「0」である。すると、低減化処理モード決定部13は、マウスカーソルCuがアイコンやアプリケーションのウィンドウやタスクバーの上に位置していないと判定し、容量低減化処理部14に対して共通のタイムスタンプを基づいてリンクする画像の間引き(削除)処理を命じる。したがって、図11(c)における取得時間「17時23分18秒」のキャプチャ画像は、キャプチャ画像格納

部15に記録されないこととなる。また、取得時間「17時23分19秒」の位置評価値は「2」である。すると、低減化処理モード決定部13は、マウスカーソルCuがアプリケーションのウィンドウ上に位置していると判定し、容量低減化処理部14に対して階調度変更処理を命じる。したがって、図11(d)における取得時間「17時23分19秒」のキャプチャ画像は、アプリケーションのウィンドウ領域以外の領域の階調度を低減化されてキャプチャ画像格納部15に記録される。
The position evaluation value for the acquisition time “17:23:18” is “0”. Then, the reduction processing mode determination unit 13 determines that the mouse cursor Cu is not positioned on the icon or application window or task bar, and links to the capacity reduction processing unit 14 based on a common time stamp. Order thinning (deletion) processing of images to be performed. Therefore, the captured image of the acquisition time “17:23:18” in FIG.

It is not recorded in the part 15. The position evaluation value for the acquisition time “17:23:19” is “2”. Then, the reduction processing mode determination unit 13 determines that the mouse cursor Cu is positioned on the application window, and instructs the capacity reduction processing unit 14 to change the gradation level. Therefore, the captured image with the acquisition time “17:23:19” in FIG. 11D is recorded in the captured image storage unit 15 with the gradation of the area other than the window area of the application reduced.

次に、取得時間「17時23分20秒」の位置評価値は「3」である。すると、低減化処理モード決定部13は、マウスカーソルCuがタスクバー上に位置していると判定し、容量低減化処理部14に対して階調度変更処理を命じる。したがって、図11(e)における取得時間「17時23分20秒」のキャプチャ画像は、タスクバー領域以外の領域の階調度を低減化されてキャプチャ画像格納部15に記録される。また、取得時間「17時23分21秒」の位置評価値は「0」である。低減化処理モード決定部13は、マウスカーソルCuがアイコンやアプリケーションのウィンドウやタスクバーの上に位置していないと判定し、容量低減化処理部14に対して共通のタイムスタンプを基づいてリンクする画像の間引き(削除)処理を命じる。したがって、図11(f)における取得時間「17時23分21秒」のキャプチャ画像は、キャプチャ画像格納部15に記録されないこととなる。このようにして、位置評価値に応じた記録容量の低減化が行われる。また、マウスカーソル位置情報とアイコン情報やアプリケーションのウィンドウ情報やタスクバー情報が、共通のタイムスタンプでリンクしているため、別々に入力されても経時的に処理することが可能となる。   Next, the position evaluation value for the acquisition time “17:23:20” is “3”. Then, the reduction processing mode determination unit 13 determines that the mouse cursor Cu is positioned on the task bar, and instructs the capacity reduction processing unit 14 to change the gradation level. Therefore, the captured image with the acquisition time “17:23:20” in FIG. 11E is recorded in the captured image storage unit 15 with the gradation of the area other than the taskbar area reduced. The position evaluation value for the acquisition time “17:23:21” is “0”. The reduction processing mode determination unit 13 determines that the mouse cursor Cu is not positioned on the icon, the application window, or the task bar, and is an image linked to the capacity reduction processing unit 14 based on a common time stamp. Command thinning (deletion) processing. Therefore, the captured image with the acquisition time “17:23:21” in FIG. 11F is not recorded in the captured image storage unit 15. In this way, the recording capacity is reduced according to the position evaluation value. Further, since mouse cursor position information, icon information, application window information, and task bar information are linked with a common time stamp, even if they are input separately, they can be processed over time.

上述のように記録容量の低減化が行われてキャプチャ画像格納部15に記録されたキャプチャ画像を図12に示す。図12(a)では、取得時間「17時23分17秒」のキャプチャ画像が記録容量の低減化が行われずに記録され、図12(b)及び(c)では、階調度の低減を行って記録容量の低減化が行われたキャプチャ画像が記録される。一方、画像間引きに基づく記録容量の低減化が行われたキャプチャ画像は記録されないこととなる。このように、本記録装置2は、位置評価値に応じて記録容量の低減化を行うことで効率よく記録容量の確保を行うことが可能となる。   FIG. 12 shows a captured image recorded in the captured image storage unit 15 with the recording capacity reduced as described above. In FIG. 12A, the captured image with the acquisition time “17:23:17” is recorded without reducing the recording capacity, and in FIGS. 12B and 12C, the gradation is reduced. As a result, the captured image whose recording capacity has been reduced is recorded. On the other hand, the captured image in which the recording capacity is reduced based on the image thinning is not recorded. As described above, the recording apparatus 2 can efficiently secure the recording capacity by reducing the recording capacity in accordance with the position evaluation value.

次に本実施形態についてフローチャートを使用して説明する。図13は位置評価値に応じて記録容量の低減化を行うためのフローチャートである。まず、本記録装置2は、端末1のモニタ1Aに表示されるアイコンの座標を示すアイコン情報やアプリケーションのウィンドウの座標を示すウィンドウ情報やタスクバーの座標を示すタスクバー情報を表示位置情報格納部10が備える夫々の格納部に格納する(ステップ#01)。また、端末1を使用するユーザのマウス操作に基づくマウスカーソル位置情報はマウスカーソル位置情報格納部11に格納される(ステップ#02)。   Next, the present embodiment will be described using a flowchart. FIG. 13 is a flowchart for reducing the recording capacity in accordance with the position evaluation value. First, in the recording device 2, the display position information storage unit 10 displays icon information indicating the coordinates of the icon displayed on the monitor 1A of the terminal 1, window information indicating the coordinates of the window of the application, and task bar information indicating the coordinates of the task bar. It stores in each storage section provided (step # 01). The mouse cursor position information based on the mouse operation of the user who uses the terminal 1 is stored in the mouse cursor position information storage unit 11 (step # 02).

位置評価値算定部12はアイコン情報やウィンドウ情報やタスクバー情報やマウスカーソル位置情報に基づいて、マウスカーソルCuがアイコンやアプリケーションのウィンドウやタスクバーの上に位置するか否かを評価し、位置評価値を決定する(ステップ#03)。この位置評価値は、アイコン領域の座標とマウスカーソルCuの位置座標の論理積と、ウィンドウ領域の座標とマウスカーソルCuの位置座標の論理積と、タスクバー領域の座標とマウスカーソルCuの位置座標の論理積と、に基づいて算定される。   The position evaluation value calculation unit 12 evaluates whether or not the mouse cursor Cu is positioned on the icon or application window or task bar based on the icon information, window information, task bar information, or mouse cursor position information. Is determined (step # 03). This position evaluation value is the logical product of the coordinates of the icon area and the position coordinates of the mouse cursor Cu, the logical product of the coordinates of the window area and the position coordinates of the mouse cursor Cu, the coordinates of the task bar area and the position coordinates of the mouse cursor Cu. Calculated based on logical product.

低減化処理モード決定部13は、位置評価値が「0」であれば(ステップ#04:Yes)、マウスカーソルCuはアイコンやアプリケーションのウィンドウやタスクバーの上に位置しないことから記録容量低減化処理モードを画像間引き(削除)処理に決定する(ステップ#05)。したがって、端末1から送信される、その表示位置情報やマウスカーソル位置情報のタイムスタンプとリンクしたキャプチャ画像は記録されることなく間引き

(削除)処理が行われる(ステップ#06)。位置評価値が「1」であれば(ステップ#07:Yes)、マウスカーソルCuがアイコン上に位置することから低減化処理モード決定部13は、記録容量の低減化を行わないことに決定し(ステップ#08)、端末1から送信されたキャプチャ画像をそのままキャプチャ画像格納部15に記録する(ステップ#09)。
If the position evaluation value is “0” (step # 04: Yes), the reduction processing mode determination unit 13 does not position the mouse cursor Cu on the icon, application window, or task bar. The mode is determined as image thinning (deletion) processing (step # 05). Therefore, the captured image transmitted from the terminal 1 and linked with the time stamp of the display position information or mouse cursor position information is thinned out without being recorded.

(Delete) processing is performed (step # 06). If the position evaluation value is “1” (step # 07: Yes), since the mouse cursor Cu is positioned on the icon, the reduction processing mode determination unit 13 determines not to reduce the recording capacity. (Step # 08), the captured image transmitted from the terminal 1 is recorded in the captured image storage unit 15 as it is (step # 09).

位置評価値が「2」であれば(ステップ#10:Yes)、マウスカーソルCuがアプリケーションのウィンドウ上に位置することから低減化処理モード決定部13は、ウィンドウ以外の領域の階調度を低減する記録容量の低減化を行って(ステップ#11)、キャプチャ画像をキャプチャ画像格納部15に記録する(ステップ#09)。位置評価値が「2」でなければ(ステップ#10:No)、すなわち位置評価値が「3」であれば、マウスカーソルCuがタスクバー上に位置することから低減化処理モード決定部13は、タスクバー以外の領域の階調度を低減化する記録容量の低減化を行って(ステップ#12)、キャプチャ画像をキャプチャ画像格納部15に記録する(ステップ#09)。   If the position evaluation value is “2” (step # 10: Yes), since the mouse cursor Cu is positioned on the window of the application, the reduction processing mode determination unit 13 reduces the gradation of the area other than the window. The recording capacity is reduced (step # 11), and the captured image is recorded in the captured image storage unit 15 (step # 09). If the position evaluation value is not “2” (step # 10: No), that is, if the position evaluation value is “3”, since the mouse cursor Cu is positioned on the task bar, the reduction processing mode determination unit 13 The recording capacity is reduced to reduce the gradation in the area other than the task bar (step # 12), and the captured image is recorded in the captured image storage unit 15 (step # 09).

そして、端末1から送信されるキャプチャ画像の中で位置評価値に基づく評価が行われていないものがなければ(ステップ#13:Yes)、処理を終了する。一方、評価されていないキャプチャ画像があれば(ステップ#13:No)、ステップ#01に戻り処理が継続される。このようにして本記録装置2は、位置評価値に応じて記録容量の低減化が行われたキャプチャ画像を記録することにより、記録容量を抑えることができる。尚、記録されたキャプチャ画像は、必要に応じて本記録装置2が備えるモニタ2Aに表示させることにより再生可能である。   If no captured image transmitted from the terminal 1 has been evaluated based on the position evaluation value (step # 13: Yes), the process is terminated. On the other hand, if there is a captured image that has not been evaluated (step # 13: No), the process returns to step # 01 and continues. In this way, the recording apparatus 2 can suppress the recording capacity by recording the captured image in which the recording capacity is reduced according to the position evaluation value. The recorded captured image can be reproduced by displaying it on the monitor 2A provided in the recording apparatus 2 as necessary.

〔本発明の第二実施形態〕
上述の実施形態においては、アイコン情報とウィンドウ情報とタスクバー情報とマウスカーソル位置情報とは端末1から送信されるとして説明した。本発明に係る他の実施形態として、上述の各情報を端末1から送信されるキャプチャ画像を画像処理(画像評価)することにより位置座標が算出されるように構成することも好適である。このような構成とすれば、端末1から送信されたキャプチャ画像からアイコン情報とウィンドウ情報とタスクバー情報とマウスカーソル位置情報とを算出することができるため、これらの情報を取得する必要がなくなる。
[Second embodiment of the present invention]
In the above embodiment, the icon information, window information, task bar information, and mouse cursor position information are described as being transmitted from the terminal 1. As another embodiment according to the present invention, it is also preferable that the position coordinates are calculated by performing image processing (image evaluation) on the captured image transmitted from the terminal 1 with the above-described information. With such a configuration, icon information, window information, task bar information, and mouse cursor position information can be calculated from the captured image transmitted from the terminal 1, so that it is not necessary to acquire these pieces of information.

〔その他の実施形態〕
上記実施形態では、階調度の低減処理はマウスカーソルがアプリケーションのウィンドウ領域、若しくはタスクバー領域の中の何れか一方の領域に位置する場合に行われるとして説明したが、これに限らない。画像の間引き処理と同様に、階調度の低減処理をキャプチャ画像全体に対して行うことも当然に本発明の権利範囲である。その場合には、画像の間引き処理、或いは階調度の低減処理の何れか一方の処理を行う構成とすれば好適である。このような構成であっても、記録容量の低減化を行うことができるため、記録容量の消費を抑えることは可能である。
[Other Embodiments]
In the above-described embodiment, the gradation level reduction process has been described as being performed when the mouse cursor is positioned in either the window area of the application or the taskbar area. However, the present invention is not limited to this. Of course, it is also within the scope of the present invention to perform the gradation reduction process on the entire captured image as in the image thinning process. In that case, it is preferable to adopt a configuration in which either the image thinning process or the gradation reduction process is performed. Even with such a configuration, since the recording capacity can be reduced, the consumption of the recording capacity can be suppressed.

上記実施形態では、記録容量低減化処理モードが、画像の間引き処理、若しくは階調度の低減処理であるとして説明したが、これに限らない。記録容量低減化処理モードとして例えば、キャプチャ画像の圧縮形式(例えば、JPEG形式やGIF形式等)を変更して記録することにより低減処理を行うことも当然に可能である。   In the above embodiment, the recording capacity reduction processing mode has been described as image thinning processing or gradation level reduction processing, but the present invention is not limited to this. As a recording capacity reduction processing mode, for example, it is naturally possible to perform the reduction processing by changing the recording format (for example, JPEG format, GIF format, etc.) of the captured image.

上記実施形態では、表示位置情報が、アイコンの座標を表すアイコン情報と、アプリケーションのウィンドウの座標を表すウィンドウ情報と、タスクバーの座標を表すタスクバー情報とからなるとして説明したが、これに限らない。これら以外にユーザが画面上の任意の場所を指定することも当然に可能である。このような構成であっても、キャプチャ画

像の記録容量を低減することができる。
In the above embodiment, the display position information has been described as including icon information representing the coordinates of the icon, window information representing the coordinates of the window of the application, and task bar information representing the coordinates of the task bar. However, the present invention is not limited to this. In addition to these, it is naturally possible for the user to specify an arbitrary location on the screen. Even with this configuration, the captured image

The recording capacity of the image can be reduced.

上記実施形態では、位置評価値の算定にあたり、アイコン領域演算値とウィンドウ領域演算値とタスクバー領域演算値との加算により求められるとして説明したがこれに限らない。上記全ての演算値から求めるだけでなく、例えば、アイコン領域演算値、ウィンドウ領域演算値、タスクバー領域演算値の中の何れか一つでもあっても良いし、何れか二つの加算により求めても良い。   In the above embodiment, the calculation of the position evaluation value is described as being obtained by adding the icon area calculated value, the window area calculated value, and the taskbar area calculated value, but the present invention is not limited to this. In addition to calculating from all the above calculated values, for example, it may be any one of icon area calculated value, window area calculated value, task bar area calculated value, or may be calculated by adding any two of them. good.

上記実施形態では、マウスカーソルの位置評価値に基づいて記録容量の低減化を行うとして説明したが、これに限らない。例えば、マウスカーソルでなくポインティングデバイスのカーソルの位置評価値に基づいて記録容量の低減化を行うことも本発明の権利範囲に含まれることは、当然である。   In the above embodiment, the recording capacity is reduced based on the position evaluation value of the mouse cursor. However, the present invention is not limited to this. For example, it is a matter of course that reducing the recording capacity based on the position evaluation value of the cursor of the pointing device instead of the mouse cursor is also included in the scope of the right of the present invention.

上記実施形態では、位置評価値の算定においてウィンドウ領域演算値の演算を行う場合にウィンドウ領域が一つであるとして例示したが、これに限らない。例えば、キャプチャ画像内に複数のウィンドウが表示されている場合には、ウィンドウ領域はキャプチャ画像に表示される全ウィンドウ領域の論理和をウィンドウ領域とし、このウィンドウ領域の座標とマウスカーソルCuの位置座標との論理積を演算すれば良い。このような演算から求められた位置評価値に応じて記録容量の低減化を行うことは当然に可能である。   In the above embodiment, the window area calculation value is calculated in the calculation of the position evaluation value. However, the present invention is not limited to this. For example, when a plurality of windows are displayed in the captured image, the window area is defined as a logical sum of all window areas displayed in the captured image, and the coordinates of the window area and the position coordinates of the mouse cursor Cu are used. And the logical product of Naturally, it is possible to reduce the recording capacity in accordance with the position evaluation value obtained from such calculation.

上記実施形態では、アイコンやアプリケーションのウィンドウやタスクバーは静止している例を示したが、これに限らない。アイコンやアプリケーションのウィンドウやタスクバーが移動している場合でも、その取得時間と同じマウスカーソル位置情報(マウスカーソルCuの座標)に基づいて位置評価値を算定するため、本発明の目的が達成可能であることは当然である。   In the above embodiment, an example is shown in which icons, application windows, and task bars are stationary, but the present invention is not limited thereto. Even when the icon or application window or task bar is moving, the position evaluation value is calculated based on the same mouse cursor position information (the coordinates of the mouse cursor Cu) as the acquisition time, so the object of the present invention can be achieved. Of course it is.

上記実施形態では、アイコン上にマウスカーソルCuが位置する場合に、端末1から送信されるキャプチャ画像は記録容量の低減化を行うことなくキャプチャ画像格納部15に記録されるとして説明したが、これに限らない。例えば、このような場合には、少なくともマウスカーソルCuが位置するアイコンのアイコン領域を含む領域以外の領域に対して、階調度の低減化処理を行ったり、或いは削除したりすることも可能である。   In the above embodiment, it has been described that the captured image transmitted from the terminal 1 is recorded in the captured image storage unit 15 without reducing the recording capacity when the mouse cursor Cu is positioned on the icon. Not limited to. For example, in such a case, it is possible to perform a gradation reduction process or to delete at least an area other than the area including the icon area of the icon where the mouse cursor Cu is located. .

上記実施形態では、ウィンドウ領域以外の領域や、タスクバー領域以外の領域について記録容量の低減化を行う場合に階調度を低減化させる処理を行うとして説明したが、これに限らない。例えば、記録容量の低減化を行う領域の画像情報を削除して低減化することも可能であるし、マウスカーソルCuがウィンドウ領域やタスクバー領域に位置する時間に応じて、その時間が長い程、階調度の低減度を大きくすることも可能である。   In the above embodiment, it has been described that the processing for reducing the gradation is performed when the recording capacity is reduced in the area other than the window area or the area other than the taskbar area, but the present invention is not limited to this. For example, it is possible to delete the image information of the area where the recording capacity is to be reduced, and the longer the time the mouse cursor Cu is located in the window area or taskbar area, It is also possible to increase the degree of gradation reduction.

上記実施形態では、記録容量の低減化としてウィンドウ領域やタスクバー領域以外の領域に階調度を低減化させる処理を行うとして説明したが、これに限らない。例えば、階調度を低減化させる領域をウィンドウ領域やタスクバー領域から所定範囲広げて処理することも当然に可能である。このように所定範囲広げて処理を行っても、記録容量を低減させることが可能であることは当然である。   In the embodiment described above, the processing for reducing the gradation is performed in the area other than the window area and the taskbar area as the recording capacity reduction. However, the present invention is not limited to this. For example, it is naturally possible to process the area where the gradation is reduced by extending a predetermined range from the window area or the task bar area. It goes without saying that the recording capacity can be reduced even when processing is performed with the predetermined range expanded.

上記実施形態では、端末1から送信されるキャプチャ画像に対してリアルタイムで記録容量の低減化を行って、キャプチャ画像格納部15に記録するとして説明したが、これに限らない。例えば、記録容量の低減化を行ってキャプチャ画像格納部15に記録されたキャプチャ画像に対して、バッチ処理で記録容量の低減化を行った後、キャプチャ画像格納部に再記録する構成であっても良い。このような構成とすれば、記録容量の低減化を行ったキャプチャ画像をキャプチャ画像格納部に記録しつつ、その後、所定時間経過したキャ

プチャ画像格納部のキャプチャ画像に対して、更に記録容量の低減化を行うためキャプチャ画像格納部の容量を容易に確保することが可能となる。
In the above embodiment, the capture capacity transmitted from the terminal 1 is recorded in the capture image storage unit 15 by reducing the recording capacity in real time. However, the present invention is not limited to this. For example, the recording capacity of the captured image recorded in the captured image storage unit 15 is reduced and the recording capacity is reduced by batch processing and then re-recorded in the captured image storage unit. Also good. With such a configuration, a captured image with a reduced recording capacity is recorded in the captured image storage unit, and then, after a predetermined time has passed.

Since the recording capacity is further reduced with respect to the captured image stored in the photographer image storage unit, the capacity of the captured image storage unit can be easily secured.

上記の各実施形態では、ネットワークを介してキャプチャ画像と表示位置情報とマウスカーソル位置情報とが各端末1から記録装置2に送信されるとして説明したが、これに限らない。例えば、この記録装置2によるキャプチャ画像の記録機能、すなわち位置評価値算定部12や低減化処理モード決定部13や容量低減化処理部14といった機能をモジュール化して端末1で実行可能なアプリケーションとし、各端末1にインストールすることで、端末1そのものをスタンドアローン型のキャプチャ画像記録機能付き端末にすることは当然に可能である。   In each of the above embodiments, the capture image, the display position information, and the mouse cursor position information are described as being transmitted from each terminal 1 to the recording apparatus 2 via the network, but the present invention is not limited to this. For example, a recording function of the captured image by the recording device 2, that is, a function such as the position evaluation value calculation unit 12, the reduction processing mode determination unit 13, and the capacity reduction processing unit 14 is modularized to be an application that can be executed by the terminal 1, Of course, it is possible to make the terminal 1 itself a terminal with a stand-alone capture image recording function by installing it in each terminal 1.

上記の各実施形態では、記録装置2が単独のコンピュータにより構築されているとして説明したが、これに限らない。記録装置2の機能を区分けして、複数のコンピュータに分散させても良く、例えば、記録装置2におけるキャプチャ画像格納部15をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から表示位置情報やマウスカーソル位置情報を読み出して種々の処理を行うことも当然に可能である。   In each of the above embodiments, the recording apparatus 2 has been described as being constructed by a single computer, but the present invention is not limited to this. The functions of the recording apparatus 2 may be divided and distributed to a plurality of computers. For example, the captured image storage unit 15 in the recording apparatus 2 is distributed to a dedicated data storage machine such as a file server, and the dedicated data storage apparatus Of course, it is possible to read the display position information and the mouse cursor position information and perform various processes.

上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。端末1から送信されるキャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、表示位置情報とマウスカーソル位置情報とから位置評価値を算出し、その位置評価値に応じて記録容量の低減化を行うことは当然に可能である。尚、動画の形式で端末1から記録装置2に送信される場合は、端末1のフォーマット部に静止画を動画化する機能が備えられることになる。また、端末1の操作画面(キャプチャ画面)をモニタ2Aで表示する際も、静止画の連続表示(スライドショーのようなスタイル)でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部15に格納される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはJPEGやGIF等が、動画の場合にはMPEGやAVI等が用いられる。   In the above embodiment, the capture image has been described as a still image file obtained by capturing an operation screen or a collection of still image files, but is not limited thereto. Of course, the captured image transmitted from the terminal 1 may be a still image or a moving image. Even when the captured image is a moving image, it is naturally possible to calculate the position evaluation value from the display position information and the mouse cursor position information and reduce the recording capacity according to the position evaluation value. Note that when the terminal 1 transmits the moving image in the form of a moving image, the format portion of the terminal 1 is provided with a function of converting a still image into a moving image. Also, when the operation screen (capture screen) of the terminal 1 is displayed on the monitor 2A, it may be a continuous display of a still image (style like a slide show) or a moving image display, and an appropriate still image- A moving image program or a moving image-still image program is implemented. Further, various capture image formats can be selected when stored in the capture image storage unit 15. For example, JPEG or GIF is used for still images, and MPEG or AVI is used for moving images.

コンピュータネットワークシステムを模式的に示す構成図Configuration diagram schematically showing a computer network system 本発明に係る記録装置の構成を模式的に示すブロック図1 is a block diagram schematically showing a configuration of a recording apparatus according to the present invention. アイコン情報の一例を示す図Figure showing an example of icon information アイコン領域の一例を示す図Figure showing an example of icon area アプリケーションのウィンドウ情報の一例を示す図Diagram showing an example of application window information アプリケーションのウィンドウ領域の一例を示す図Diagram showing an example of the application window area タスクバー情報の一例を示す図Figure showing an example of taskbar information タスクバー領域の一例を示す図Figure showing an example of the taskbar area マウスカーソル位置情報の一例を示す図The figure which shows an example of mouse cursor position information 位置評価値の一例を示す図The figure which shows an example of a position evaluation value 端末から送信されるキャプチャ画像の一例を示す図The figure which shows an example of the capture image transmitted from a terminal 記録容量の低減後に記録されるキャプチャ画像の一例を示す図The figure which shows an example of the capture image recorded after reduction of recording capacity 位置評価値に応じて記録容量の低減化を行って記録するためのフローチャート図Flowchart diagram for recording with the recording capacity reduced according to the position evaluation value

符号の説明Explanation of symbols

2:記録装置
2A:モニタ
10:表示位置情報格納部
10a:アイコン情報格納部
10b:ウィンドウ情報格納部
10c:タスクバー情報格納部
11:マウスカーソル位置情報格納部
12:位置評価値算定部
13:低減化処理モード決定部
14:容量低減化処理部
14a:画像間引き部
14b:階調度変更部
15:キャプチャ画像格納部
16:画像再生部
17:VRAM
2: Recording device 2A: Monitor 10: Display position information storage unit 10a: Icon information storage unit 10b: Window information storage unit 10c: Task bar information storage unit 11: Mouse cursor position information storage unit 12: Position evaluation value calculation unit 13: Reduction Processing mode determination unit 14: capacity reduction processing unit 14a: image thinning unit 14b: gradation level changing unit 15: captured image storage unit 16: image reproduction unit 17: VRAM

Claims (4)

操作画面をキャプチャして得られるキャプチャ画像をキャプチャ画像格納部に記録する記録装置において、
前記操作画面上でのポインティングデバイスのカーソルの動作を表すカーソル位置情報と、前記操作画面上におけるユーザが指定した位置を示す表示位置情報と、に基づいて前記カーソルの前記キャプチャ画像上での位置における重要度を規定する位置評価値を算定する位置評価値算定部と、前記キャプチャ画像毎に前記位置評価値に応じた記録容量低減化処理モードを決定する低減化処理モード決定部と、前記記録容量低減化処理モードに基づいて前記キャプチャ画像の所定領域に対して低減処理を行うことにより前記キャプチャ画像の記録容量を記録時に低減化する容量低減化処理部と、を備える記録装置。
In a recording device that records a captured image obtained by capturing an operation screen in a captured image storage unit,
Based on the cursor position information indicating the operation of the cursor of the pointing device on the operation screen and the display position information indicating the position specified by the user on the operation screen, the position of the cursor on the captured image A position evaluation value calculation unit that calculates a position evaluation value that defines importance, a reduction processing mode determination unit that determines a recording capacity reduction processing mode corresponding to the position evaluation value for each captured image, and the recording capacity A recording apparatus comprising: a capacity reduction processing unit that reduces a recording capacity of the captured image at the time of recording by performing reduction processing on a predetermined area of the captured image based on a reduction processing mode.
前記キャプチャ画像に対してリアルタイムで記録容量の低減化を行った後、前記キャプチャ画像格納部に記録することを特徴とする請求項1に記載の記録装置。   The recording apparatus according to claim 1, wherein a recording capacity of the captured image is reduced in real time and then recorded in the captured image storage unit. 前記キャプチャ画像格納部に格納されたキャプチャ画像に対してバッチ処理で記録容量の低減化を行った後、前記キャプチャ画像格納部に再記録することを特徴とする請求項1に記載の記録装置。   The recording apparatus according to claim 1, wherein a recording capacity of the captured image stored in the captured image storage unit is reduced by batch processing and then re-recorded in the captured image storage unit. 操作画面をキャプチャして得られるキャプチャ画像をキャプチャ画像格納部に記録する記録装置のためのプログラムにおいて、
前記操作画面上でのポインティングデバイスのカーソルの動作を表すカーソル位置情報と、前記操作画面上におけるユーザが指定した位置を示す表示位置情報と、に基づいて前記カーソルの前記キャプチャ画像上での位置における重要度を規定する位置評価値を算定する位置評価値算定機能と、前記キャプチャ画像毎に前記位置評価値に応じた記録容量低減化処理モードを決定する低減化処理モード決定機能と、前記記録容量低減化処理モードに基づいて前記キャプチャ画像の所定領域に対して低減処理を行うことにより前記キャプチャ画像の記録容量を記録時に低減化する容量低減化処理機能と、をコンピュータに実現させる記録装置のためのプログラム。
In a program for a recording apparatus that records a captured image obtained by capturing an operation screen in a captured image storage unit,
Based on the cursor position information indicating the operation of the cursor of the pointing device on the operation screen and the display position information indicating the position specified by the user on the operation screen, the position of the cursor on the captured image A position evaluation value calculation function for calculating a position evaluation value that defines importance, a reduction processing mode determination function for determining a recording capacity reduction processing mode corresponding to the position evaluation value for each captured image, and the recording capacity A recording apparatus for causing a computer to realize a capacity reduction processing function for reducing the recording capacity of the captured image at the time of recording by performing reduction processing on a predetermined area of the captured image based on a reduction processing mode Program.
JP2008003502A 2008-01-10 2008-01-10 Recording device and program for the recording device Expired - Fee Related JP4247294B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008003502A JP4247294B2 (en) 2008-01-10 2008-01-10 Recording device and program for the recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008003502A JP4247294B2 (en) 2008-01-10 2008-01-10 Recording device and program for the recording device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007098078A Division JP4069151B1 (en) 2007-04-04 2007-04-04 Recording device and program for the recording device

Publications (2)

Publication Number Publication Date
JP2008259175A JP2008259175A (en) 2008-10-23
JP4247294B2 true JP4247294B2 (en) 2009-04-02

Family

ID=39982261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008003502A Expired - Fee Related JP4247294B2 (en) 2008-01-10 2008-01-10 Recording device and program for the recording device

Country Status (1)

Country Link
JP (1) JP4247294B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5253255B2 (en) * 2009-03-25 2013-07-31 日立造船株式会社 Operation screen recording device
JP7229822B2 (en) * 2019-03-18 2023-02-28 三菱電機インフォメーションネットワーク株式会社 Display image data acquisition device, display image data acquisition method, and display image data acquisition program

Also Published As

Publication number Publication date
JP2008259175A (en) 2008-10-23

Similar Documents

Publication Publication Date Title
RU2351093C2 (en) Image distribution system, client terminal and control method
KR20120006434A (en) Image processing device, image processing method, and computer program
JP3648130B2 (en) Computer-readable recording medium having recorded video listing method and video listing processing program
JP2012133586A (en) Display device, screen image transfer method and program
JP3997256B1 (en) Playback device and program for playback device
US8773408B2 (en) Display control apparatus, display control method and program
JP6265659B2 (en) Information processing apparatus, control method thereof, and program
EP3454202B1 (en) Frame drop processing method and system for played ppt
JPWO2011077550A1 (en) Screen relay device
JP4247294B2 (en) Recording device and program for the recording device
JP3989530B1 (en) Recording device and program for the recording device
JP4429353B2 (en) Capture image recording apparatus and capture image recording program
US8856251B2 (en) Picture processing method and apparatus for instant communication tool
JP4069151B1 (en) Recording device and program for the recording device
JP4216881B2 (en) Terminal monitoring device and program for terminal monitoring device
JP2009223658A (en) Operation display system and program for the same
CN112740161A (en) Terminal, method for controlling terminal, and recording medium having recorded therein program for implementing the method
JP6213041B2 (en) Web page takeover system, web page takeover method, communication terminal, web page display method, and program
JP4326753B2 (en) Video information indexing support system, program, and storage medium
US9161009B2 (en) System, terminal device, and image capturing method
CN112799621A (en) Comment display method and system
JP4562202B2 (en) Capture image recording apparatus and capture image recording program
CN113168286A (en) Terminal, control method for the terminal, and recording medium recording program for implementing the method
JP5031448B2 (en) Image processing apparatus, control method therefor, and storage medium
JP3993003B2 (en) Display instruction apparatus, display system, display instruction program, terminal, and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081211

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees