JP2009246415A - Screen data transmitter, screen data transmission method, and screen data transmission program - Google Patents

Screen data transmitter, screen data transmission method, and screen data transmission program Download PDF

Info

Publication number
JP2009246415A
JP2009246415A JP2008087121A JP2008087121A JP2009246415A JP 2009246415 A JP2009246415 A JP 2009246415A JP 2008087121 A JP2008087121 A JP 2008087121A JP 2008087121 A JP2008087121 A JP 2008087121A JP 2009246415 A JP2009246415 A JP 2009246415A
Authority
JP
Japan
Prior art keywords
difference
frame
screen data
screen
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008087121A
Other languages
Japanese (ja)
Other versions
JP5071727B2 (en
Inventor
Yuji Furuta
勇次 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2008087121A priority Critical patent/JP5071727B2/en
Publication of JP2009246415A publication Critical patent/JP2009246415A/en
Application granted granted Critical
Publication of JP5071727B2 publication Critical patent/JP5071727B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To maintain the image quality of a cursor even when a moving image occupying a wide area is included in an image. <P>SOLUTION: The screen data transmitter includes: a difference detection means for detecting, for each of a plurality of blocks included in a first image frame, whether or not there is a difference from a block included in a second image frame before the first image frame and provided on a corresponding position; a transmission means for transmitting the data of the block for which the detected result of the difference detection means is affirmative; and a frame rate reducing means for making the frame rate of the block included in a difference present area lower than an output frame rate. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画面データを送信する画面データ送信装置、画面データ送信方法及び画面データ送信プログラムに関し、特に、サーバ装置に備わり、シンクライアント(thin client)に画面を送信する画面データ送信装置、画面データ送信方法及び画面データ送信プログラムに関する。   The present invention relates to a screen data transmission apparatus, a screen data transmission method, and a screen data transmission program for transmitting screen data, and more particularly, to a screen data transmission apparatus for transmitting a screen to a thin client (thin client). The present invention relates to a transmission method and a screen data transmission program.

近年、シンクライアント及びそれに対応したサーバを有するシンクライアントシステムが普及してきている。シンクライアントシステムにおいては、サーバがアプリケーションプログラムやデータファイルを保有し、シンクライアントは、必要最低限の機能を有する。   In recent years, thin client systems having a thin client and a server corresponding to the thin client have become widespread. In the thin client system, the server holds application programs and data files, and the thin client has a minimum necessary function.

画面転送型のシンクライアントシステムにおいては、シンクライアントの画面に表示する画面データもサーバが保有する。そして、変化のあった画面データをサーバからシンクライアントに送信し、シンクライアントは、サーバから送られてきた画面データを基に、表示画面データを再構築する。   In the screen transfer type thin client system, the server also has screen data to be displayed on the thin client screen. Then, the changed screen data is transmitted from the server to the thin client, and the thin client reconstructs the display screen data based on the screen data transmitted from the server.

次に、変化のあった画面データをサーバからシンクライアントに送信するための基本的な画面データ送信装置について説明する。   Next, a basic screen data transmission apparatus for transmitting changed screen data from the server to the thin client will be described.

図１を参照すると、基本的な画面データ送信装置は、書込部９０１、偶数フレームメモリ９０３、奇数フレームメモリ９０５、差分存在領域検出部９０７及び差分存在部分送信部９０９を備える。   Referring to FIG. 1, the basic screen data transmission apparatus includes a writing unit 901, an even frame memory 903, an odd frame memory 905, a difference existence area detection unit 907, and a difference existence part transmission unit 909.

書込部９０１は、シンクライアントで表示するべき画面データと同一の画面データよりなる出力フレームを入力し、出力フレームのうち偶数フレームを偶数フレームメモリ９０３に書き込み、奇数フレームを奇数フレーム９０５に書き込む。   The writing unit 901 receives an output frame composed of the same screen data as the screen data to be displayed on the thin client, writes an even frame of the output frames to the even frame memory 903, and writes an odd frame to the odd frame 905.

差分存在領域検出部９０７は、例えば、図２に示すような３２画素×３２画素のブロックを単位として、偶数フレームメモリ９０３に書き込まれている画面データと奇数フレームメモリ９０５に書き込まれている画面データとを比較し、差分存在領域を検出する。差分存在領域は（３２×ｎ）画素×（３２×ｍ）画素の矩形の領域であってもよいし、図３の差分存在領域で示すような領域であってもよい。   The difference presence area detection unit 907, for example, screen data written in the even frame memory 903 and screen data written in the odd frame memory 905 in units of blocks of 32 pixels × 32 pixels as shown in FIG. And a difference existence area is detected. The difference existence area may be a rectangular area of (32 × n) pixels × (32 × m) pixels, or may be an area as shown by the difference existence area in FIG.

差分存在領域送信部９０９は、差分存在領域検出部９０７で検出された差分存在領域の画面データを符号化し、符号化された画面データをシンクライアントに送信する。符号化のためには、例えば、ウェーブレット変換、ハフマン符号化などが用いられる。   The difference existence area transmission unit 909 encodes the screen data of the difference existence area detected by the difference existence area detection unit 907, and transmits the encoded screen data to the thin client. For encoding, for example, wavelet transform, Huffman encoding, or the like is used.

次に、図４を参照して、図１に示す基本的な画面データ送信装置の動作を説明する。   Next, the operation of the basic screen data transmitting apparatus shown in FIG. 1 will be described with reference to FIG.

まず、書込部９０１が、最初の出力フレームを入力する（ステップＳ９５１）。   First, the writing unit 901 inputs the first output frame (step S951).

次に、入力した出力フレームは、偶数フレームであるのか又は奇数フレームであるのかを判断する（ステップＳ９５３）。   Next, it is determined whether the input output frame is an even frame or an odd frame (step S953).

偶数フレームである場合には、入力した出力フレームの画面データを偶数フレームメモリ９０３に書き込む（ステップＳ９５５）。他方、奇数フレームである場合には、入力した出力フレームの画面データを奇数フレームメモリ９０５に書き込む（ステップＳ９５７）。   If it is an even frame, the screen data of the input output frame is written into the even frame memory 903 (step S955). On the other hand, if it is an odd frame, the screen data of the input output frame is written into the odd frame memory 905 (step S957).

ステップＳ９５５又はステップＳ９５７の次に、差分存在領域検出部９０７は、差分存在領域を検出する（ステップＳ９５９）。   Subsequent to step S955 or step S957, the difference presence area detection unit 907 detects a difference existence area (step S959).

次に、差分存在領域送信部９０９は、全ての差分存在領域について、差分存在領域のデータの送信（ステップＳ９６３）を、繰り返す（ステップＳ９６１）。   Next, the difference presence area transmission unit 909 repeats the transmission of the data of the difference existence area (step S963) for all the difference existence areas (step S961).

次に、書込部９０１は、次の出力フレームの画面データを入力し（ステップＳ９６５）、ステップＳ９５３に戻る。   Next, the writing unit 901 inputs screen data of the next output frame (step S965) and returns to step S953.

差分存在領域は、図５に示すように、第ｎフレームになかったウィンドウ７０１が第（ｎ＋１）フレームで現れた場合には、符号７０３で示す領域である。また、差分存在領域は、図６に示すように、自動車７０５が第ｎフレームで図７（ａ）に示すような位置にあり、第（ｎ＋１）フレームで図７（ｂ）に示すような位置にある場合には、図７（ｃ）に示すような、自動車７０５が走り去った後の背景を含む領域７０７と新たに自動車７０５を含むこととなった領域７０９である。   As shown in FIG. 5, the difference existence area is an area denoted by reference numeral 703 when a window 701 that was not in the nth frame appears in the (n + 1) th frame. Further, as shown in FIG. 6, the difference existence area is the position where the automobile 705 is at the position shown in FIG. 7A in the nth frame and the position shown in FIG. 7B in the (n + 1) th frame. 7C, an area 707 including the background after the automobile 705 has run away and an area 709 newly including the automobile 705 are shown.

図７にシンクライアントのうち表示画面に関連する部分を示す。   FIG. 7 shows a portion related to the display screen in the thin client.

復号部８２１は、差分存在領域送信部８０９により符号化された画面データを復号する。   The decoding unit 821 decodes the screen data encoded by the difference existence area transmission unit 809.

フレームメモリ８２３は、復号された画面データを格納する。   The frame memory 823 stores the decoded screen data.

表示部８２５は、フレームメモリ８２３に格納されている画面データを読み出して、表示装置に出力する。
特開平１１−２８５００１号公報 クライアント統合ソリューション、画面転送型、平成２０年２月１５日検索、 インターネット<URL: http://www.nec.co.jp/clsol/gamentenso.html> The display unit 825 reads the screen data stored in the frame memory 823 and outputs it to the display device.
JP 11-285001 A Client integrated solution, screen transfer type, February 15, 2008 search, Internet <URL: http://www.nec.co.jp/clsol/gamentenso.html>

シンクライアント１台当たりの画面送信のためのビットレートは予め定められている。そして、所定の差分以上の差分がある画面ブロックのデータは全て送信される。従って、所定の差分以上の差分がある画面ブロックが多い場合には、１ブロック当たりの割当ビット数が少なくなり、画面が劣化する。これは、特に、画面に動画の広いウィンドウが存在する場合に顕著である。   The bit rate for screen transmission per thin client is predetermined. And all the data of the screen block with a difference more than a predetermined difference are transmitted. Therefore, when there are many screen blocks having a difference greater than or equal to a predetermined difference, the number of allocated bits per block is reduced, and the screen is deteriorated. This is particularly noticeable when a wide window of moving images exists on the screen.

ところで、マウスカーソルも画面データとして送信される。図８（ａ）に示すように、マウスカーソルが動かない場合には、そのマウスカーソルを含むブロックのブロックデータは伝送されない。   By the way, the mouse cursor is also transmitted as screen data. As shown in FIG. 8A, when the mouse cursor does not move, the block data of the block including the mouse cursor is not transmitted.

図８（ｂ）に示すように、マウスカーソルが動いた場合には、移動後のマウスカーソルを含むブロックのブロックデータが伝送される。マウスカーソルがあるブロックから他のブロックに移動した場合には、移動前のマウスカーソルを含むブロックのブロックデータも伝送される。   As shown in FIG. 8B, when the mouse cursor moves, block data of the block including the moved mouse cursor is transmitted. When the mouse cursor moves from one block to another block, the block data of the block including the mouse cursor before the movement is also transmitted.

図８（ｃ）に示すように、マウスカーソルが、４つのブロックに跨る領域に動いた場合には、移動後のマウスカーソルを含む４つのブロックのブロックデータが伝送される。   As shown in FIG. 8C, when the mouse cursor moves to an area straddling four blocks, block data of four blocks including the mouse cursor after movement is transmitted.

このように、マウスカーソルも画面データとして送信されるため、画面に動画が含まれる場合、特に、広い領域を占める動画が含まれる場合には、マウスカーソルの画質が劣化する。ところが、マウスカーソルは、画面中でユーザが最も注目している領域の中心であるため、マウスカーソルの画質を維持する必要がある。   As described above, since the mouse cursor is also transmitted as screen data, the image quality of the mouse cursor deteriorates when a moving image is included on the screen, particularly when a moving image occupying a wide area is included. However, since the mouse cursor is the center of the area most noticed by the user in the screen, it is necessary to maintain the image quality of the mouse cursor.

マウスカーソルについて上記したことは、キャラクタカーソルについても同様である。   The above description for the mouse cursor is the same for the character cursor.

そこで、本発明は、広い領域を占める動画が画面に含まれる場合であっても、カーソルの画質を維持することを可能とする画面データ送信装置及びその方法を提供することを目的とする。   Accordingly, an object of the present invention is to provide a screen data transmitting apparatus and method that can maintain the image quality of a cursor even when a moving image occupying a wide area is included in the screen.

本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減手段と、を備えることを特徴とする画面データ送信装置が提供される。   According to the present invention, each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and has a difference from the block at the corresponding position. A difference detection means for detecting whether or not, a transmission means for transmitting data of a block for which the detection result of the difference detection means is positive, and a frame rate of a block included in the difference existence area is set to be higher than an output frame rate. And a frame rate reducing means for lowering the screen data.

また、本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出ステップと、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信ステップと、差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減ステップと、を備えることを特徴とする画面データ送信方法が提供される。   Further, according to the present invention, each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame, and is different from the block at the corresponding position. A difference detection step for detecting whether or not there is a transmission, a transmission step for transmitting data of a block for which the detection result of the difference detection means is positive, and a frame rate of a block included in the difference existence area, an output frame rate There is provided a screen data transmission method characterized by comprising a frame rate reduction step of reducing the frame rate.

更に、本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出ステップと、前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信ステップと、差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減ステップと、を備えることを特徴とする画面データ送信方法をコンピュータに実行させるための画面データ送信プログラムが提供される。   Further, according to the present invention, each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame, and is different from the block at the corresponding position. A difference detection step for detecting whether or not there is a transmission, a transmission step for transmitting data of a block for which the detection result of the difference detection means is positive, and a frame rate of a block included in the difference existence area, an output frame rate There is provided a screen data transmission program for causing a computer to execute a screen data transmission method characterized by comprising a frame rate reduction step of lowering the frame rate.

本発明によれば、動画に割り当てる符号量を低く抑えることができるため、広い領域を占める動画が画面に含まれる場合であっても、カーソルの画質を維持することができる。   According to the present invention, since the amount of code allocated to a moving image can be kept low, the image quality of the cursor can be maintained even when a moving image occupying a wide area is included in the screen.

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the drawings.

［実施形態１］
図９は、本発明の実施形態１により送信される画面の例を示す図である。 [Embodiment 1]
FIG. 9 is a diagram illustrating an example of a screen transmitted according to the first embodiment of the present invention.

図９を参照すると、マウスカーソル１０２を含むブロック１０１は、マウスカーソル１０２が動いている時には、６０ｆｐｓ(frame per second)で送信される。ウィンドウ１０３に含まれる小さな差分存在領域１０４も６０ｆｐｓで送信される。ウィンドウ１０５に含まれる中程度の広さの差分存在領域１０６は３０ｆｐｓで送信される。ウィンドウ１０７に含まれる中程度の広さの差分存在領域１０８は３０ｆｐｓで送信される。ウィンドウ１０７に含まれる広い差分存在領域１０９は２０ｆｐｓで伝送される。   Referring to FIG. 9, the block 101 including the mouse cursor 102 is transmitted at 60 fps (frame per second) when the mouse cursor 102 is moving. A small difference existence area 104 included in the window 103 is also transmitted at 60 fps. The medium-sized difference existence area 106 included in the window 105 is transmitted at 30 fps. The medium-sized difference existence area 108 included in the window 107 is transmitted at 30 fps. A wide difference existence area 109 included in the window 107 is transmitted at 20 fps.

このように、差分存在領域に含まれるブロックは、差分存在領域のサイズが広くなればなるほど遅いフレームレートで送信される。   Thus, the blocks included in the difference existence area are transmitted at a slower frame rate as the size of the difference existence area becomes larger.

図１０を参照すると、本発明の実施形態１による画面データ送信装置は、書込部１２１、偶数フレームメモリ１２３、奇数フレームメモリ１２５、コピー部１２７、差分存在領域検出部１２９、差分存在領域サイズ検出部１３１、フレーム番号カウンタ１３３、送信フレーム判断部１３５、送信／コピー判断部１３７及び差分存在領域送信部１３９を備える。   Referring to FIG. 10, the screen data transmission apparatus according to the first embodiment of the present invention includes a writing unit 121, an even frame memory 123, an odd frame memory 125, a copy unit 127, a difference existing area detecting unit 129, and a difference existing area size detection. A unit 131, a frame number counter 133, a transmission frame determination unit 135, a transmission / copy determination unit 137, and a difference existence area transmission unit 139.

書込部１２１は、出力フレームの画面データを入力し、偶数フレームの画面データを偶数フレームメモリ１２３に書き込み、奇数フレームの画面データを奇数フレームメモリ１２５に書き込む。   The writing unit 121 receives the output frame screen data, writes the even frame screen data into the even frame memory 123, and writes the odd frame screen data into the odd frame memory 125.

偶数フレームメモリ１２３は、偶数フレームの画面データ及びコピー部１２７により書き込まれた差分存在領域のブロックのデータを格納する。   The even frame memory 123 stores the even frame data and the block data of the difference existing area written by the copy unit 127.

奇数フレームメモリ１２５は、奇数フレームの画面データ及びコピー部１２７により書き込まれた差分存在領域のブロックのデータを格納する。   The odd frame memory 125 stores the screen data of the odd frame and the block data of the difference existing area written by the copy unit 127.

コピー部１２７は、送信／コピー判断部１３７からの指示に従い、差分存在領域のブロックのうち送信されないブロックのデータを、直前のフレームの画面データを格納しているフレームメモリ（偶数フレームメモリ１２３又は奇数フレームメモリ１２５）から現在のフレームの画面データを格納しているフレームメモリ（奇数フレームメモリ１２５又は偶数フレームメモリ１２３）にコピーする。   In accordance with an instruction from the transmission / copy determination unit 137, the copy unit 127 uses a frame memory (even frame memory 123 or odd number) that stores screen data of the immediately preceding frame as data of blocks that are not transmitted among the blocks in the difference existing area. The frame memory 125) is copied to the frame memory (odd frame memory 125 or even frame memory 123) storing the screen data of the current frame.

差分存在領域検出部１２９は、差分存在領域検出部９０７と同様に、例えば、図２に示すような３２画素×３２画素のブロックを単位として、偶数フレームメモリ１２３に書き込まれている画面データと奇数フレームメモリ１２５に書き込まれている画面データとを比較し、差分存在領域を検出する。差分存在領域は（３２×ｎ）画素×（３２×ｍ）画素の矩形の領域であってもよいし、図３の差分存在領域で示すような領域であってもよい。   Similar to the difference presence area detection unit 907, the difference presence area detection unit 129, for example, has the screen data written in the even frame memory 123 and the odd number in units of blocks of 32 pixels × 32 pixels as illustrated in FIG. The screen data written in the frame memory 125 is compared, and a difference existing area is detected. The difference existence area may be a rectangular area of (32 × n) pixels × (32 × m) pixels, or may be an area as shown by the difference existence area in FIG.

差分存在領域サイズ検出部１３１は、差分存在領域を、例えば、大領域、中領域、小領域などのように大きさに応じて分類する。例えば、差分存在領域である（３２×ｎ）画素×（３２×ｍ）画素の矩形の領域のｍ×ｎの値が第１の閾値よりも大きければ、その領域を大領域とし、ｍ×ｎの値が第１の閾値以下であるが、第１の閾値よりも小さい第２の閾値よりも大きければその領域を中領域とし、ｍ×ｎの値が第２の閾値以下であれば、その領域を小領域とする。   The difference presence area size detection unit 131 classifies the difference existence area according to the size, such as a large area, a medium area, and a small area. For example, if the m × n value of the rectangular area of (32 × n) pixels × (32 × m) pixels that is the difference existing area is larger than the first threshold, the area is set as a large area, and m × n Is less than or equal to the first threshold, but if it is greater than a second threshold that is less than the first threshold, the region is defined as a middle region, and if the value of m × n is less than or equal to the second threshold, Let the region be a small region.

フレーム番号カウンタ１３３、フレーム毎にカウント値を１ずつ増加させる。   The frame number counter 133 increments the count value by 1 for each frame.

送信フレーム判断部１３５は、図１１に示すように、大領域、中領域、小領域毎に、各フレームで差分存在領域の画面データを送信するかどうか判断する。例えば、大領域については、フレーム番号を３で除算して得られる残余がゼロであれば、現在のフレームの差分存在領域の画面データを送信する。また、中領域については、フレーム番号を２で除算して得られる残余がゼロであれば、現在のフレームの差分存在領域の画面データを送信する。更に、小領域については、現在のフレームの全ての差分存在領域の画面データを送信する。こうすることにより、大領域については、３フレーム毎に１回、現在のフレームの差分存在領域の画面データを送信し、中領域については、２フレーム毎に１回、現在のフレームの差分存在領域の画面データを送信し、小領域については、毎フレーム、現在のフレームの差分存在領域の画面データを送信することとなる。   As shown in FIG. 11, the transmission frame determination unit 135 determines whether or not to transmit the screen data of the difference existing area in each frame for each of the large area, the medium area, and the small area. For example, for the large area, if the remainder obtained by dividing the frame number by 3 is zero, the screen data of the difference existing area of the current frame is transmitted. For the middle area, if the remainder obtained by dividing the frame number by 2 is zero, the screen data of the difference existing area of the current frame is transmitted. Further, for the small area, the screen data of all the difference existing areas in the current frame is transmitted. By doing so, the screen data of the current frame difference existing area is transmitted once every 3 frames for the large area, and the current frame difference existing area once every 2 frames for the middle area. The screen data of the difference existing area of the current frame is transmitted every frame for the small area.

送信／コピー判断部１３７は、差分存在領域サイズ検出部１３１から入力した各差分存在領域の大きさの分類及び送信フレーム判断部１３５から入力した、差分領域の大きさの分類毎の送信の可否を基に、差分存在領域検出部１２９で検出した各差分存在領域を送信するのか、又は、偶数フレームメモリ１２３と奇数フレームメモリ１２５との間でコピーをするのかを判断する。   The transmission / copy determination unit 137 classifies the size of each difference existence area input from the difference existence area size detection unit 131 and whether to allow transmission for each classification of the size of the difference area input from the transmission frame determination unit 135. Based on this, it is determined whether to transmit each difference existence area detected by the difference existence area detection unit 129 or to copy between the even frame memory 123 and the odd frame memory 125.

差分存在領域送信部１３９は、送信／コピー判断部１３７により送信するべきであると判断された差分存在領域に含まれる各ブロックのデータを符号化してシンクライアントに送信する。   The difference existence area transmission unit 139 encodes the data of each block included in the difference existence area determined to be transmitted by the transmission / copy determination unit 137 and transmits the encoded data to the thin client.

次に、図１０に示す画面データ送信装置の動作について、図１２を参照して説明する。   Next, the operation of the screen data transmitting apparatus shown in FIG. 10 will be described with reference to FIG.

まず、書込部１２１は、最初の出力フレームの画面データを入力する（ステップＳ１５１）。   First, the writing unit 121 inputs screen data of the first output frame (step S151).

次に、入力した出力フレームは、偶数フレームであるのか、又は、奇数フレームであるのかを判断する（ステップＳ１５３）。この判断のためには、フレーム番号カウンタ１３３のＬＳＢを用いてもよい。   Next, it is determined whether the input output frame is an even frame or an odd frame (step S153). For this determination, the LSB of the frame number counter 133 may be used.

偶数フレームである場合には、入力した出力フレームの画面データを偶数フレームメモリ１２３に書き込む（ステップＳ１５５）。他方、奇数フレームである場合には、入力した出力フレームの画面データを奇数フレームメモリ１２５に書き込む（ステップＳ１５７）。   If it is an even frame, the screen data of the input output frame is written into the even frame memory 123 (step S155). On the other hand, if it is an odd frame, the screen data of the input output frame is written into the odd frame memory 125 (step S157).

次に、差分存在領域検出部１２９は、偶数フレームメモリ１２３に格納されている偶数フレームの画面データと奇数フレームメモリ１２５に格納されている奇数フレームの画面データとを比較することにより差分存在領域を検出する（ステップＳ１５９）。具体的には、例えば、図３に示すように、フレーム間の差分のある画素を少なくとも１つ含むブロック（○を付けてある差分存在ブロック）を中心とした３ブロック×３ブロックの領域を設け、これらを合わせたものを差分存在領域としてもよい。また、動画アプリケーションを検出し、そのアプリケーションの画面の位置情報により差分存在領域を検出してもよい。更に、マウスカーソルやキャラクタカーソルの位置を検出し、カーソルを含むブロックの集合を差分存在領域としてもよい。   Next, the difference presence area detection unit 129 compares the even frame screen data stored in the even frame memory 123 with the odd frame screen data stored in the odd frame memory 125 to determine the difference existence area. Detection is performed (step S159). Specifically, for example, as shown in FIG. 3, an area of 3 blocks × 3 blocks centering on a block including at least one pixel having a difference between frames (difference existing block with a circle) is provided. A combination of these may be used as the difference existence area. Alternatively, a moving image application may be detected, and the difference existence area may be detected based on position information on the screen of the application. Further, the position of the mouse cursor or character cursor may be detected, and a set of blocks including the cursor may be set as the difference existence area.

次に、全ての差分存在領域について、ステップＳ１６３からの動作を繰り返す（ステップＳ１６１Ｓ〜ステップＳ１６１Ｅ）。なお、図示していないが、現在のフレームに差分存在領域が存在しないならば、ステップＳ１５９からステップＳ１７５に直接進む。   Next, the operation from step S163 is repeated for all the difference existing areas (steps S161S to S161E). Although not shown, if there is no difference existing area in the current frame, the process proceeds directly from step S159 to step S175.

ステップＳ１６３では、差分存在領域サイズ検出部１３１は、差分存在領域の大きさを判断する。検出方法は、上述したとおりである。サイズが大である場合にはステップＳ１６５に進み、サイズが中である場合にはステップＳ１６７に進み、サイズが小である場合にはステップＳ１６９に進む。   In step S163, the difference existence area size detection unit 131 determines the size of the difference existence area. The detection method is as described above. If the size is large, the process proceeds to step S165. If the size is medium, the process proceeds to step S167. If the size is small, the process proceeds to step S169.

ステップＳ１６５では、送信／コピー判断部１３７が、現在のフレームは、大の差分存在領域を送信するフレームであるのか否かの情報を送信フレーム判断部１３５から入力し、そうであれば、ステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   In step S165, the transmission / copy determination unit 137 inputs information on whether or not the current frame is a frame for transmitting a large difference existence area from the transmission frame determination unit 135, and if so, step S171. If not, the process proceeds to step S173.

同様に、ステップＳ１６７では、送信／コピー判断部１３７が、現在のフレームは、中の差分存在領域を送信するフレームであるのか否かの情報を送信フレーム判断部１３５から入力し、そうであれば、ステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S167, the transmission / copy determination unit 137 inputs from the transmission frame determination unit 135 information indicating whether or not the current frame is a frame for transmitting the difference existing area, and if so, If not, the process proceeds to step S173.

更に同様に、ステップＳ１６９では、送信／コピー判断部１３７が、現在のフレームは、小の差分存在領域を送信するフレームであるのか否かの情報を送信フレーム判断部１３５から入力し、そうであれば、ステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S169, the transmission / copy determination unit 137 inputs information from the transmission frame determination unit 135 as to whether or not the current frame is a frame for transmitting a small difference existence area. If so, the process proceeds to step S171; otherwise, the process proceeds to step S173.

ステップＳ１７１では、差分存在領域送信部１３９が、現在扱っている差分存在領域に含まれる各ブロックのデータを符号化して、シンクライアントに送信する。   In step S171, the difference existence area transmitting unit 139 encodes the data of each block included in the difference existence area currently handled and transmits the data to the thin client.

ステップＳ１７３では、コピー部１２７が、現在扱っている差分存在領域の各ブロックのデータを１つ前のフレームの画面データを格納しているフレームメモリ（偶数フレームメモリ１２３又は奇数フレームメモリ１２５）から現在のフレームの画面データを格納しているフレームメモリ（奇数フレームメモリ１２５又は偶数フレームメモリ１２３）にコピーする。   In step S173, the copy unit 127 transfers the data of each block in the currently existing difference existence area from the frame memory (the even frame memory 123 or the odd frame memory 125) that stores the screen data of the previous frame. Are copied to the frame memory (odd frame memory 125 or even frame memory 123) storing the screen data of the current frame.

ステップＳ１６１の繰り返しが終了したならば、次の出力フレームの画面データを入力し（ステップＳ１７５）、ステップＳ１５３に戻る。   When the repetition of step S161 is completed, the screen data of the next output frame is input (step S175), and the process returns to step S153.

次に、差分存在領域のうち送信しない差分存在領域をフレームメモリ間でコピーすることの意義について説明する。   Next, the significance of copying the difference existence area not transmitted among the difference existence areas between the frame memories will be described.

例えば、図１３に示すように、中程度の大きさの差分存在領域を含む画面データがあったとする。第ｎフレームの中程度の大きさの差分領域の内容はＡであり、第（ｎ＋１）フレームの中程度の大きさの差分領域の内容はＢであり、第（ｎ＋２）フレームの中程度の大きさの差分領域の内容もＢであるとする。中程度の大きさの差分領域については、フレームレートを１／２に落とすので、２フレームにつき１フレームを送信する。そうすると、第ｎフレームの次に第（ｎ＋２）フレームのデータを送信する。従って、第ｎフレームでは、内容がＡである中程度の大きさの差分存在領域に含まれるブロックのデータを送信し、第（ｎ＋２）フレームでは、内容がＢである中程度の大きさの差分存在領域に含まれるブロックのデータを送信する必要がある。   For example, as shown in FIG. 13, it is assumed that there is screen data including a medium-sized difference existence area. The content of the medium size difference area of the nth frame is A, the content of the medium size difference area of the (n + 1) th frame is B, and the medium size of the (n + 2) th frame. The content of the difference area is also B. For the medium difference area, the frame rate is reduced to ½, so one frame is transmitted for every two frames. Then, the (n + 2) th frame data is transmitted after the nth frame. Therefore, in the nth frame, the data of the block included in the medium size difference existence area whose content is A is transmitted, and in the (n + 2) th frame, the medium size difference whose content is B is transmitted. It is necessary to transmit block data included in the existing area.

ところが、図１４に示すように、フレームメモリ間で差分存在領域のコピーを行わない場合には、第（ｎ＋２）フレームで内容Ｂと内容Ｂとを比較することとなり、結果として、差分がないという判断がなされる。従って、第（ｎ＋２）フレームの内容がＢの中程度の大きさの差分存在領域が送信されないこととなってしまう。   However, as shown in FIG. 14, when the difference existence area is not copied between the frame memories, the content B and the content B are compared in the (n + 2) th frame, and as a result, there is no difference. Judgment is made. Therefore, the difference existing area having the medium size of the (n + 2) th frame is not transmitted.

これに対し、図１５に示すように、本発明に従って、フレームメモリ間で差分存在領域のコピーを行う場合には、第（ｎ＋２）フレームで内容Ａと内容Ｂとを比較することとなり、結果として、差分があるという判断がなされる。従って、第（ｎ＋２）フレームの内容がＢの中程度の大きさの差分存在領域が送信されることとなる。   On the other hand, as shown in FIG. 15, when copying the difference existence area between the frame memories according to the present invention, the contents A and B are compared in the (n + 2) th frame, and as a result A determination is made that there is a difference. Therefore, the difference existing area having the medium size of the (n + 2) -th frame is transmitted.

［実施形態２］
実施形態１では、差分存在領域の送信レートを差分存在領域の大きさのみによって決めていたが、実施形態２では、差分存在領域の送信レートを差分存在領域の大きさ及び動き量履歴によって決める。 [Embodiment 2]
In the first embodiment, the transmission rate of the difference existing area is determined only by the size of the difference existing area. In the second embodiment, the transmission rate of the difference existing area is determined by the size of the difference existing area and the motion amount history.

図１６は、実施形態２による本発明の実施形態２による画面データ送信装置の構成を示すブロック図である。図１０と図１６とを比較すると明らかなように、実施形態２では、実施形態１と比較し、動き量履歴計算部１４１が追加されている点が異なる。また、送信／コピー判断部１３７の動作が異なる。   FIG. 16 is a block diagram showing the configuration of the screen data transmitting apparatus according to the second embodiment of the present invention according to the second embodiment. As is clear when FIG. 10 is compared with FIG. 16, the second embodiment is different from the first embodiment in that a motion amount history calculation unit 141 is added. Further, the operation of the transmission / copy determination unit 137 is different.

動き量履歴は、画面の全ての３２画素×３２画素のブロックに対して存在する。図１７は、各ブロックについての動き量履歴計算部１４１の動作を説明するためのフローチャートである。   The motion amount history exists for all blocks of 32 pixels × 32 pixels on the screen. FIG. 17 is a flowchart for explaining the operation of the motion amount history calculation unit 141 for each block.

図１７を参照すると、まず、動き量履歴Ｍを初期値に設定する（ステップＳ２０１）。次に、偶数フレームメモリ１２３に格納されているブロックと奇数フレームメモリ１２５に格納されている同位置のブロックとの間に差分があるか否かを判断する（ステップＳ２０３）。差分がある場合には（ステップＳ２０３でＹＥＳ）、動き量履歴ＭにΔＡを加算する（ステップＳ２０５）。差分がない場合には（ステップＳ２０３でＮＯ）、動き量履歴ＭからΔＢを減算する（ステップＳ２０７）。   Referring to FIG. 17, first, the motion amount history M is set to an initial value (step S201). Next, it is determined whether or not there is a difference between the block stored in the even frame memory 123 and the block at the same position stored in the odd frame memory 125 (step S203). If there is a difference (YES in step S203), ΔA is added to the motion amount history M (step S205). If there is no difference (NO in step S203), ΔB is subtracted from the motion amount history M (step S207).

ステップＳ２０５又はステップＳ２０７の次に、動き量履歴Ｍが上限値を上回るか否かを判断し（ステップＳ２０９）、そうである場合には（ステップＳ２０９でＹＥＳ）、動き量履歴Ｍに上限値を設定する（ステップＳ２１１）。   After step S205 or step S207, it is determined whether or not the motion amount history M exceeds the upper limit value (step S209). If so (YES in step S209), an upper limit value is set in the motion amount history M. Set (step S211).

ステップＳ２０９又はステップＳ２１１の次に、動き量履歴Ｍが下限値を下回るか否かを判断し（ステップＳ２１３）、そうである場合には（ステップＳ２１３でＹＥＳ）、動き量履歴Ｍに下限値を設定する（ステップＳ２１５）。   After step S209 or step S211, it is determined whether or not the motion amount history M is below the lower limit value (step S213). If so (YES in step S213), a lower limit value is set in the motion amount history M. It sets (step S215).

次のフレームが来たならば、ステップＳ２０３からの動作を繰り返す。   When the next frame comes, the operation from step S203 is repeated.

従って、動き量履歴Ｍは、各ブロックの差分が出現した頻度を示す量となる。   Therefore, the motion amount history M is an amount indicating the frequency at which the difference of each block appears.

図１８は、レベルと送信フレームとの対応関係を示す。レベルは、差分存在領域のサイズから置き換わるものである。   FIG. 18 shows the correspondence between levels and transmission frames. The level replaces the size of the difference existence area.

レベル１では、毎フレーム差分存在領域のデータが送信される。レベル２では、２フレームにつき１フレームだけ差分存在領域のデータが送信される。レベル３では、３フレームにつき１フレームだけ差分存在領域のデータが送信される。レベル４では、４フレームにつき１フレームだけ差分存在領域のデータが送信される。レベル５では、５フレームにつき１フレームだけ差分存在領域のデータが送信される。   At level 1, the data in the difference area for each frame is transmitted. In level 2, the data of the difference existence area is transmitted by one frame for every two frames. In level 3, the data of the difference existence area is transmitted by one frame for every three frames. In level 4, the data of the difference existence area is transmitted by one frame for every four frames. At level 5, the data of the difference existence area is transmitted by 1 frame per 5 frames.

図１９は、サイズと差分存在領域についての動き量履歴との組合せとレベルとの対応関係を示す。ここで、差分存在領域についての動き量履歴とは、各差分存在領域に存在するブロックに跨る動き量履歴の算術平均値、幾何平均値、中央値、最大値又は最小値などである。   FIG. 19 shows the correspondence between the size and the combination of the motion amount history for the difference existing area and the level. Here, the motion amount history for the difference existence region is an arithmetic average value, a geometric average value, a median value, a maximum value, a minimum value, or the like of the motion amount history across the blocks existing in each difference existence region.

図１９を参照すると明らかなように、差分存在領域の大きさが同じ分類に属する場合であっても、動き量履歴が大きいほどレベルが大きくなる。従って、差分存在領域の大きさが同じ分類に属する場合であっても、動き量が大きいほどフレームレートが下がる。   As is clear from FIG. 19, even when the size of the difference existence area belongs to the same category, the level increases as the motion amount history increases. Therefore, even when the size of the difference existence area belongs to the same category, the frame rate decreases as the motion amount increases.

また、図１９を参照すると明らかなように、動き量履歴が下限値である場合には、差分存在領域の大きさに関係なく、レベル１が選択される。従って、差分存在領域の大きさに関係なく、それまで動きがなかった領域に動きが生じたならば、遅延なく画面データが送られる。   As is clear from FIG. 19, when the motion amount history is the lower limit value, level 1 is selected regardless of the size of the difference existing area. Therefore, regardless of the size of the difference existing area, if movement occurs in an area that has not moved until then, screen data is sent without delay.

図１６に示す画面データ送信装置の動作を図２０に示す。   The operation of the screen data transmission apparatus shown in FIG. 16 is shown in FIG.

図２０を図１２と比較すると明らかなように、実施形態２は、実施形態１と比較すると、ステップＳ１６３、Ｓ１６５、Ｓ１６７及びＳ１６９がステップＳ１８１、Ｓ１８３、Ｓ１８５、Ｓ１８７、Ｓ１８９及びＳ１９１に置き換わっている点のみが異なる。   As is clear when comparing FIG. 20 with FIG. 12, in the second embodiment, steps S163, S165, S167, and S169 are replaced with steps S181, S183, S185, S187, S189, and S191, as compared with the first embodiment. Only the point is different.

ステップＳ１８１では、送信／コピー判断部１３７が、現在の差分存在領域がどのレベルのものであるのかを判断する。現在の差分存在領域がレベル１のものである場合にはステップＳ１８３に進み、現在の差分存在領域がレベル２のものである場合にはステップＳ１８５に進み、現在の差分存在領域がレベル３のものである場合にはステップＳ１８７に進み、現在の差分存在領域がレベル４のものである場合にはステップＳ１８９に進み、現在の差分存在領域がレベル５のものである場合にはステップＳ１９１に進む。   In step S181, the transmission / copy determination unit 137 determines what level the current difference existence area is. If the current difference existing area is level 1, the process proceeds to step S183. If the current difference existing area is level 2, the process proceeds to step S185, and the current difference existing area is level 3. If YES, the process proceeds to step S187. If the current difference existing area is of level 4, the process proceeds to step S189. If the current difference existing area is of level 5, the process proceeds to step S191.

ステップＳ１８３では、現フレームはレベル１の差分領域を送るフレームであるのか否かを判断し、そうであればステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   In step S183, it is determined whether or not the current frame is a frame for sending a level 1 difference area. If so, the process proceeds to step S171, and if not, the process proceeds to step S173.

同様に、ステップＳ１８５では、現フレームはレベル２の差分領域を送るフレームであるのか否かを判断し、そうであればステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S185, it is determined whether or not the current frame is a frame for sending a level 2 difference area. If so, the process proceeds to step S171; otherwise, the process proceeds to step S173.

同様に、ステップＳ１８７では、現フレームはレベル３の差分領域を送るフレームであるのか否かを判断し、そうであればステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S187, it is determined whether or not the current frame is a frame for sending a level 3 difference area. If so, the process proceeds to step S171; otherwise, the process proceeds to step S173.

同様に、ステップＳ１８９では、現フレームはレベル４の差分領域を送るフレームであるのか否かを判断し、そうであればステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S189, it is determined whether or not the current frame is a frame for sending a level 4 difference area. If so, the process proceeds to step S171; otherwise, the process proceeds to step S173.

同様に、ステップＳ１９１では、現フレームはレベル５の差分領域を送るフレームであるのか否かを判断し、そうであればステップＳ１７１に進み、そうでなければステップＳ１７３に進む。   Similarly, in step S191, it is determined whether or not the current frame is a frame for sending a level 5 difference area. If so, the process proceeds to step S171; otherwise, the process proceeds to step S173.

なお、本発明による画面データ送信装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。   The screen data transmission apparatus according to the present invention can be realized by hardware, software, or a combination thereof.

本発明は、画面転送型シンクライアントシステムなどの画面を転送するシステムに適用することができる。   The present invention can be applied to a screen transfer system such as a screen transfer type thin client system.

本発明に関連した画面データ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the screen data transmission apparatus relevant to this invention. 画面を送信ブロックに分割した様子を示す図である。It is a figure which shows a mode that the screen was divided | segmented into the transmission block. 差分存在領域を抽出する方法を説明するための図である。It is a figure for demonstrating the method of extracting a difference presence area. 図１に示す画面データ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the screen data transmission apparatus shown in FIG. 画面転送型のシンクライアントに送信される画面領域の一例を示す図である。It is a figure which shows an example of the screen area | region transmitted to a screen transfer type thin client. 画面転送型のシンクライアントに送信される画面領域の他の一例を示す図である。It is a figure which shows another example of the screen area | region transmitted to a screen transfer type thin client. シンクライアントの画面表示に関連した部分を示すブロック図である。It is a block diagram which shows the part relevant to the screen display of a thin client. マウスカーソルと送信されるブロックとの関係を示す図である。It is a figure which shows the relationship between a mouse cursor and the transmitted block. 本発明の実施形態に従って、差分存在領域の大きさによって送信レートが異なる様子を説明するための図である。It is a figure for demonstrating a mode that a transmission rate changes with the magnitude | size of a difference presence area according to embodiment of this invention. 本発明の実施形態１による画面データ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the screen data transmission apparatus by Embodiment 1 of this invention. 本発明の実施形態１に従って、差分存在領域のサイズによってフレームレートが異なる様子を示す図である。It is a figure which shows a mode that a frame rate changes with the size of a difference presence area according to Embodiment 1 of this invention. 図１０に示す画面データ送信装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the screen data transmission apparatus shown in FIG. 本発明の実施形態において、差分存在領域のうち送信しない差分存在領域をフレームメモリ間でコピーすることの意義について説明する第１の図である。In the embodiment of the present invention, it is a first diagram illustrating the significance of copying a difference existence area that is not transmitted among the difference existence areas between frame memories. FIG. 本発明の実施形態において、差分存在領域のうち送信しない差分存在領域をフレームメモリ間でコピーすることの意義について説明する第２の図である。In the embodiment of the present invention, it is the 2nd figure explaining the significance of copying the difference existence area which is not transmitted among difference existence areas between frame memories. 本発明の実施形態において、差分存在領域のうち送信しない差分存在領域をフレームメモリ間でコピーすることの意義について説明する第３の図である。FIG. 11 is a third diagram illustrating the significance of copying a difference existence area that is not transmitted among the difference existence areas between frame memories in the embodiment of the present invention. 本発明の実施形態２による画面データ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the screen data transmission apparatus by Embodiment 2 of this invention. 図１６に示す動き量履歴計算部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the movement amount log | history calculation part shown in FIG. 本発明の実施形態１に従って、レベルによってフレームレートが異なる様子を示す図である。It is a figure which shows a mode that a frame rate changes with levels according to Embodiment 1 of this invention. 差分検出領域の大きさと動き量履歴との組合せとレベルとの関係を示す表である。It is a table | surface which shows the relationship between the combination of the magnitude | size of a difference detection area | region, a motion amount log | history, and a level. 図１６に示す画面データ送信装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the screen data transmission apparatus shown in FIG.

符号の説明Explanation of symbols

１２１ 書込部
１２３ 偶数フレームメモリ
１２５ 奇数フレームメモリ
１２７ コピー部
１２９ 差分存在領域検出部
１３１ 差分存在領域サイズ検出部
１３３ フレーム番号カウンタ
１３５ 送信フレーム判断部
１３７ 送信／コピー判断部
１３９ 差分存在領域送信部
１４１ 動き量履歴計算部 121 Writing Unit 123 Even Frame Memory 125 Odd Frame Memory 127 Copying Unit 129 Difference Presence Area Detection Unit 131 Difference Presence Area Size Detection Unit 133 Frame Number Counter 135 Transmission Frame Determination Unit 137 Transmission / Copy Determination Unit 139 Difference Presence Area Transmission Unit 141 Motion history calculation unit

Claims (6)

第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出手段と、
前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、
差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減手段と、
を備えることを特徴とする画面データ送信装置。 For each of the plurality of blocks included in the first screen frame, it is detected whether or not there is a difference from the block at the corresponding position included in the second screen frame before the first screen frame. Difference detection means;
Transmitting means for transmitting data of a block in which the detection result of the difference detecting means is positive;
Frame rate reduction means for lowering the frame rate of the blocks included in the difference existing area from the output frame rate;
A screen data transmission device comprising: 請求項１に記載の画面データ送信装置において、
差分存在領域に含まれるブロックであるが、出力されないブロックをフレームメモリ間でコピーする手段を更に備え、
前回に送ったブロックと現フレームの対応する位置にあるブロックとの間に差分がある場合に、該差分を前記差分検出手段が検出できるようにすることを特徴とする画面データ送信装置。 The screen data transmission device according to claim 1,
Means further comprising means for copying blocks that are included in the difference existing area but are not output between the frame memories;
A screen data transmitting apparatus, characterized in that, when there is a difference between a block sent last time and a block at a corresponding position of the current frame, the difference detecting means can detect the difference. 請求項１又は２に記載の画面データ送信装置において、
前記フレームレート低減手段は、差分存在領域が広ければ広いほど、その差分存在領域のフレームレートを、より低くすることを特徴とする画面データ送信装置。 In the screen data transmission device according to claim 1 or 2,
The screen data transmitting apparatus according to claim 1, wherein the frame rate reducing means lowers the frame rate of the difference existence area as the difference existence area is wider. 請求項１乃至３の何れか１項に記載の画面データ送信装置において、
前記フレームレート低減手段は、差分存在領域に含まれる各ブロックの差分が出現した頻度を示す量を基にした量である動き量履歴が大きければ大きいほど、その差分存在領域のフレームレートを、より低くすることを特徴とする画面データ送信装置。 In the screen data transmission device according to any one of claims 1 to 3,
The frame rate reduction means, the larger the motion amount history, which is an amount based on the amount indicating the frequency of occurrence of the difference of each block included in the difference existing region, the greater the frame rate of the difference existing region, A screen data transmission device characterized by being lowered. 第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出ステップと、
前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信ステップと、
差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減ステップと、
を備えることを特徴とする画面データ送信方法。 For each of the plurality of blocks included in the first screen frame, it is detected whether or not there is a difference from the block at the corresponding position included in the second screen frame before the first screen frame. A difference detection step;
A transmission step of transmitting data of a block in which the detection result of the difference detection means is positive;
A frame rate reduction step for lowering the frame rate of the blocks included in the difference existing area from the output frame rate;
A screen data transmission method comprising: 第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと差分があるか否かを検出する差分検出ステップと、
前記差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信ステップと、
差分存在領域に含まれるブロックのフレームレートを、出力フレームレートよりも、低くするフレームレート低減ステップと、
を備えることを特徴とする画面データ送信方法をコンピュータに実行させるための画面データ送信プログラム。 For each of the plurality of blocks included in the first screen frame, it is detected whether or not there is a difference from the block at the corresponding position included in the second screen frame before the first screen frame. A difference detection step;
A transmission step of transmitting data of a block in which the detection result of the difference detection means is positive;
A frame rate reduction step for lowering the frame rate of the blocks included in the difference existing area from the output frame rate;
A screen data transmission program for causing a computer to execute a screen data transmission method.
JP2008087121A 2008-03-28 2008-03-28 Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program Expired - Fee Related JP5071727B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008087121A JP5071727B2 (en) 2008-03-28 2008-03-28 Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008087121A JP5071727B2 (en) 2008-03-28 2008-03-28 Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program

Publications (2)

Publication Number Publication Date
JP2009246415A true JP2009246415A (en) 2009-10-22
JP5071727B2 JP5071727B2 (en) 2012-11-14

Family

ID=41307914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008087121A Expired - Fee Related JP5071727B2 (en) 2008-03-28 2008-03-28 Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program

Country Status (1)

Country Link
JP (1) JP5071727B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176732A (en) * 2010-02-25 2011-09-08 Dainippon Printing Co Ltd Thin client system, thin client server, thin client terminal, program and storage medium
JP2011198120A (en) * 2010-03-19 2011-10-06 Nec Personal Products Co Ltd Image transfer device, method, and program
JP2012015868A (en) * 2010-07-01 2012-01-19 Fujitsu Ltd Information processor, image transmission program, image display program, and image display method
JP2012129712A (en) * 2010-12-14 2012-07-05 Awind Inc Coding method of screen frame, and electronic device applied with the same
JP2014222894A (en) * 2010-10-19 2014-11-27 オトイ、インコーポレイテッド Method, program, and apparatus for streaming composite video image using stateless compression
JP2015505208A (en) * 2011-12-20 2015-02-16 インテル・コーポレーション Enhanced wireless display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02119486A (en) * 1988-10-28 1990-05-07 Nec Corp Coding control method for moving picture signal and coding controller
JP2001103491A (en) * 1999-07-16 2001-04-13 Sony Corp Transmitter, receiver and signal transmission system using them
JP2003199102A (en) * 2001-12-25 2003-07-11 Matsushita Electric Ind Co Ltd Video encoder
JP2004086550A (en) * 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd Display image updating system
JP2004295304A (en) * 2003-03-26 2004-10-21 Fujitsu Component Ltd Switching device, image transmiiion device, image transmission method, image display method, image transmission program and image display program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02119486A (en) * 1988-10-28 1990-05-07 Nec Corp Coding control method for moving picture signal and coding controller
JP2001103491A (en) * 1999-07-16 2001-04-13 Sony Corp Transmitter, receiver and signal transmission system using them
JP2003199102A (en) * 2001-12-25 2003-07-11 Matsushita Electric Ind Co Ltd Video encoder
JP2004086550A (en) * 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd Display image updating system
JP2004295304A (en) * 2003-03-26 2004-10-21 Fujitsu Component Ltd Switching device, image transmiiion device, image transmission method, image display method, image transmission program and image display program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176732A (en) * 2010-02-25 2011-09-08 Dainippon Printing Co Ltd Thin client system, thin client server, thin client terminal, program and storage medium
JP2011198120A (en) * 2010-03-19 2011-10-06 Nec Personal Products Co Ltd Image transfer device, method, and program
JP2012015868A (en) * 2010-07-01 2012-01-19 Fujitsu Ltd Information processor, image transmission program, image display program, and image display method
US8819270B2 (en) 2010-07-01 2014-08-26 Fujitsu Limited Information processing apparatus, computer-readable non transitory storage medium storing image transmission program, and computer-readable storage medium storing image display program
JP2014222894A (en) * 2010-10-19 2014-11-27 オトイ、インコーポレイテッド Method, program, and apparatus for streaming composite video image using stateless compression
JP2012129712A (en) * 2010-12-14 2012-07-05 Awind Inc Coding method of screen frame, and electronic device applied with the same
JP2015505208A (en) * 2011-12-20 2015-02-16 インテル・コーポレーション Enhanced wireless display
US9756333B2 (en) 2011-12-20 2017-09-05 Intel Corporation Enhanced wireless display

Also Published As

Publication number Publication date
JP5071727B2 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
AU2010341605B2 (en) Systems and methods for video-aware screen capture and compression
JP5071727B2 (en) Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program
JP5628300B2 (en) Method, apparatus and computer program product for generating graphic objects with desirable physical features for use in animation
US8953676B2 (en) Information processing apparatus, computer-readable storage medium storing image transmission program, and computer-readable non transitory storage medium storing image display program
CN107515759B (en) Screen capture method and device, electronic equipment and readable storage medium
JP5678743B2 (en) Information processing apparatus, image transmission program, image transmission method, and image display method
US9247029B1 (en) Efficient processing of streams of images within a moving window session
US20080092078A1 (en) Scroll Position Estimation Apparatus and Method
US20150035724A1 (en) Performance Enhancement in Virtual Desktop Infrastructure (VDI)
US9485290B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
TWI401968B (en) Encoding method of screen frame and electronic apparatus applied therewith
US20180300250A1 (en) Method and apparatus for storing data
US20200142571A1 (en) Optimizing Window Resize Actions for Remoted Applications
CN108337246B (en) Media playback apparatus and media service apparatus preventing playback delay
JP2022509191A (en) Video decoding control methods, devices, electronic devices and storage media
US10432681B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
US20160155429A1 (en) Information processing apparatus and terminal device
EP3043251A1 (en) Method of displaying content and electronic device implementing same
US20120005587A1 (en) Performing Remoting Operations For Different Regions Of A Display Surface At Different Rates
JP5110304B2 (en) Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program
US9953015B2 (en) Displaying a document file target area based on history of display settings
US9495729B2 (en) Display method and electronic device
CN115390689A (en) Touch data compression method and device, storage medium and interactive panel
US20210109649A1 (en) Devices, Systems and Processes for Facilitating User Adaptive Progressions Through Content
JP5168486B2 (en) Screen data transmitting apparatus and method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100729

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110214

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees