JP5168486B2 - Screen data transmitting apparatus and method - Google Patents

Screen data transmitting apparatus and method Download PDF

Info

Publication number
JP5168486B2
JP5168486B2 JP2008223468A JP2008223468A JP5168486B2 JP 5168486 B2 JP5168486 B2 JP 5168486B2 JP 2008223468 A JP2008223468 A JP 2008223468A JP 2008223468 A JP2008223468 A JP 2008223468A JP 5168486 B2 JP5168486 B2 JP 5168486B2
Authority
JP
Japan
Prior art keywords
compression
operated
screen
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008223468A
Other languages
Japanese (ja)
Other versions
JP2010062625A (en
Inventor
敏 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008223468A priority Critical patent/JP5168486B2/en
Publication of JP2010062625A publication Critical patent/JP2010062625A/en
Application granted granted Critical
Publication of JP5168486B2 publication Critical patent/JP5168486B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画面データを送信する画面データ送信装置及び画面データ送信方法に関し、特に、サーバ装置に備わり、シンクライアント(thin client)に画面を送信する画面データ送信装置及びその画面データ送信装置で行われる画面データ送信方法に関する。   The present invention relates to a screen data transmission apparatus and a screen data transmission method for transmitting screen data, and in particular, a screen data transmission apparatus that is provided in a server apparatus and transmits a screen to a thin client, and the screen data transmission apparatus. Related to the screen data transmission method.

近年、シンクライアント及びそれに対応したサーバの両者を含むシンクライアントシステムが普及してきている。シンクライアントシステムにおいては、サーバがアプリケーションプログラムやデータファイルを保有し、シンクライアントは、必要最低限の機能を有する。   In recent years, a thin client system including both a thin client and a server corresponding thereto has become widespread. In the thin client system, the server holds application programs and data files, and the thin client has a minimum necessary function.

画面転送型のシンクライアントシステムにおいては、シンクライアントの画面に表示する画面データもサーバが保有する。そして、変化のあった画面データをサーバからシンクライアントに送信し、シンクライアントは、サーバから送られてきた画面データを基に、表示画面データを再構築する。   In the screen transfer type thin client system, the server also has screen data to be displayed on the thin client screen. Then, the changed screen data is transmitted from the server to the thin client, and the thin client reconstructs the display screen data based on the screen data transmitted from the server.

次に、変化のあった画面データをサーバからシンクライアントに送信するための基本的な画面データ送信装置について説明する。   Next, a basic screen data transmission apparatus for transmitting changed screen data from the server to the thin client will be described.

図１を参照すると、基本的な画面データ送信装置は、ブロック化部８０１、フレームメモリ８０３、減算器８０５、ブロック間差分検出部８０７、送信ブロック判断部８０９、符号化部８１１及びバッファ８１３を備える。   Referring to FIG. 1, the basic screen data transmission apparatus includes a blocking unit 801, a frame memory 803, a subtracter 805, an inter-block difference detection unit 807, a transmission block determination unit 809, an encoding unit 811, and a buffer 813. .

ブロック化部８０１は、入力した画面データの順序を入れ替えることにより画面データをブロック化する。画面ブロックは例えば、図２に示すように３２画素×３２画素のサイズを有する。   The blocking unit 801 blocks the screen data by changing the order of the input screen data. For example, the screen block has a size of 32 pixels × 32 pixels as shown in FIG.

フレームメモリ８０３は、画面データを１フレーム遅延させる。   The frame memory 803 delays the screen data by one frame.

減算器８０５は、現在の画素の値から１フレーム前の同一位置の画素の値を減算する。   The subtracter 805 subtracts the value of the pixel at the same position one frame before from the current pixel value.

ブロック間差分検出部８０７は、各ブロックに含まれる画素の減算器８０５による減算値を基に、現在のブロックと１フレーム前の同一位置のブロックとの間の差分を検出する。例えば、ブロック間差分検出部８０７は、ブロックに含まれる全ての画素についての減算値の絶対値の和をブロック間差分とする。また、例えば、ブロック間差分検出部８０７は、ブロックに含まれる全ての画素の減算値の絶対値のうち最大の絶対値をブロック間差分とする。   The inter-block difference detection unit 807 detects a difference between the current block and the block at the same position one frame before based on the subtraction value by the subtracter 805 of the pixels included in each block. For example, the inter-block difference detection unit 807 sets the sum of absolute values of the subtraction values for all the pixels included in the block as the inter-block difference. For example, the inter-block difference detection unit 807 sets the maximum absolute value among the absolute values of the subtraction values of all the pixels included in the block as the inter-block difference.

送信ブロック判断部８０９は、現在のブロックの画面データをシンクライアントに送信するべきか否かを判断する。例えば、送信ブロック判断部８０９は、ブロック間差分の値が所定の送信判断用のしきい値よりも大きければ、現在のブロックの画面データをシンクライアントに送信するべきであると判断する。所定の送信判断用のしきい値は、例えば、ゼロであるが、これよりも大きい値であってもよい。   The transmission block determination unit 809 determines whether or not the screen data of the current block should be transmitted to the thin client. For example, the transmission block determination unit 809 determines that the screen data of the current block should be transmitted to the thin client if the inter-block difference value is larger than a predetermined transmission determination threshold. The predetermined threshold value for determining transmission is, for example, zero, but may be a value larger than this.

符号化部８１１は、送信ブロック判断部８０９により画面データを送信するべきであると判断されたブロックの画面データを圧縮符号化し、圧縮符号化された画面データをシンクライアントに送信する。圧縮符号化のためには、例えば、ウェーブレット変換、ハフマン符号化などが用いられる。送信データのフレームあたりのビット数が目標ビットレートに対応するビット数から離れている場合には、符号化パラメータを変更して符号化をやり直す。符号化をやり直すためには、現フレームのブロックのデータをバッファ８１３に一時記憶する。符号化パラメータは、例えば、再量子化幅、空間周波数帯域幅などである。   The encoding unit 811 compresses and encodes the screen data of the block determined to be transmitted by the transmission block determination unit 809, and transmits the compression-encoded screen data to the thin client. For compression coding, for example, wavelet transform, Huffman coding, or the like is used. If the number of bits per frame of transmission data is far from the number of bits corresponding to the target bit rate, the encoding parameter is changed and the encoding is performed again. In order to redo the encoding, the data of the block of the current frame is temporarily stored in the buffer 813. The encoding parameter is, for example, a requantization width, a spatial frequency bandwidth, or the like.

図３にシンクライアントのうち表示画面に関連する部分を示す。   FIG. 3 shows a portion related to the display screen in the thin client.

復号部８２１は、符号化部８１１により圧縮符号化された画面データを復号する。   The decoding unit 821 decodes the screen data compressed and encoded by the encoding unit 811.

フレームメモリ８２３は、復号された画面データを格納する。   The frame memory 823 stores the decoded screen data.

表示部８２５は、フレームメモリ８２３に格納されている画面データを読み出して、表示装置に出力する。   The display unit 825 reads the screen data stored in the frame memory 823 and outputs it to the display device.

図４に図１に示す基本的な画面データ送信装置の動作を説明するためのフローチャートを示す。   FIG. 4 shows a flowchart for explaining the operation of the basic screen data transmitting apparatus shown in FIG.

図４を参照すると、まず、ブロック化部８０１は、画面データをブロック化する（ステップＳ９０１）。   Referring to FIG. 4, first, the blocking unit 801 blocks screen data (step S901).

次に、現フレームの各ブロックについてステップＳ９０５〜Ｓ９１３を繰り返す（ステップＳ９０３）。   Next, steps S905 to S913 are repeated for each block of the current frame (step S903).

ステップＳ９０５では、前フレームの現ブロックデータをフレームメモリ８０３から読み出す。ここで、ブロックデータとは、ブロックを構成する画素の画面データの集合のことである。   In step S905, the current block data of the previous frame is read from the frame memory 803. Here, the block data is a set of screen data of pixels constituting the block.

次に、ステップＳ９０７では、現フレームの現ブロックデータをフレームメモリ８０３に書き込む。   In step S907, the current block data of the current frame is written into the frame memory 803.

次に、ステップＳ９０９では、減算器８０５が、現フレームの現ブロックの各画素について、前フレームの同位置の画素との差分を計算する。   Next, in step S909, the subtractor 805 calculates a difference between each pixel of the current block of the current frame and a pixel at the same position of the previous frame.

次に、ステップＳ９１１では、ブロック間差分検出部８０７は、現フレームの現ブロックについてブロック間差分を検出する。   Next, in step S911, the inter-block difference detection unit 807 detects an inter-block difference for the current block of the current frame.

次に、ステップＳ９１３では、送信ブロック判断部８０９は、現フレームの現ブロックの画面データを符号化して送信するべきか否かを判断する。判断方法は送信ブロック判断部８０９の説明で述べたとおりである。   Next, in step S913, the transmission block determination unit 809 determines whether or not the screen data of the current block of the current frame should be encoded and transmitted. The determination method is as described in the description of the transmission block determination unit 809.

ステップＳ９０３の繰り返しが終了したならば、現フレームの各ブロックについてステップＳ９１７又はステップＳ９１７及びステップＳ９１９を繰り返す（ステップＳ９１５）。   When the repetition of step S903 is completed, step S917 or step S917 and step S919 are repeated for each block of the current frame (step S915).

ステップＳ９１７では、現ブロックは符号化するべきブロックであるのか否かのステップＳ９１３での判断の結果を取得する。このためには、ステップＳ９１３での判断結果をバッファ８１３に一時記憶する。   In step S917, the result of determination in step S913 as to whether or not the current block is a block to be encoded is acquired. For this purpose, the determination result in step S913 is temporarily stored in the buffer 813.

ステップＳ９１７で取得した判断結果が肯定的である場合には（ステップＳ９１７でＹＥＳ）、現ブロックを符号化する（ステップＳ９１９）。   If the determination result obtained in step S917 is affirmative (YES in step S917), the current block is encoded (step S919).

ステップＳ９１５の繰り返しが終了したならば、現フレームの符号化するべきブロックを符号化して得られた符号の全ビット数が目標ビットレートに対応するビット数にほぼ等しいか否かを判断する（ステップＳ９２１）。この判断のためにも、現フレームの全符号をバッファ８１３に一時記憶する。   When the repetition of step S915 is completed, it is determined whether or not the total number of bits of the code obtained by encoding the block to be encoded in the current frame is substantially equal to the number of bits corresponding to the target bit rate (step S15). S921). For this determination as well, all codes of the current frame are temporarily stored in the buffer 813.

ステップＳ９２１の結果が肯定的である場合には（ステップＳ９２１でＹＥＳ）、バッファ８１３に一時記憶していた現フレームの全符号を送信する（ステップＳ９２３）。   If the result of step S921 is affirmative (YES in step S921), all codes of the current frame temporarily stored in the buffer 813 are transmitted (step S923).

ステップＳ９２５の結果が否定的である場合には（ステップＳ９２５でＮＯ）、符号化パラメータを変更し（ステップＳ９２５）、ステップＳ９１５に戻る。   If the result of step S925 is negative (NO in step S925), the encoding parameter is changed (step S925), and the process returns to step S915.

上述した画面データ送信装置の構成と動作により、次に説明するような送信が行われる。   Transmission as described below is performed by the configuration and operation of the screen data transmission apparatus described above.

すなわち、例えば、第ｎフレームが図５（ａ）に示すようなものであり、第（ｎ＋１）フレームで図５（ｂ）に示すように新たなウィンドウ７０１が現れた場合、図５（ｃ）に示すようなウィンドウ７０１を含むブロック群７０３の画面データが圧縮符号化されて送信される。   That is, for example, when the nth frame is as shown in FIG. 5A and a new window 701 appears in the (n + 1) th frame as shown in FIG. 5B, FIG. The screen data of the block group 703 including the window 701 as shown in FIG.

また、例えば、自動車７０５が第ｎフレームで図６（ａ）に示すような位置にあり、第（ｎ＋１）フレームで図６（ｂ）に示すような位置にある場合には、図６（ｃ）に示すような、自動車７０５が走り去った後の背景を含むブロック群７０７と新たに自動車７０５を含むこととなったブロック群７０９の画面データが圧縮符号化されて送信される。
特開２００６−１８６５２９号公報 クライアント統合ソリューション、画面転送型、平成２０年２月１５日検索、 インターネット<URL: http://www.nec.co.jp/clsol/gamentenso.html> Further, for example, when the automobile 705 is in the position shown in FIG. 6A in the nth frame and in the position shown in FIG. 6B in the (n + 1) th frame, FIG. ), The screen data of the block group 707 including the background after the automobile 705 has run away and the block group 709 newly including the automobile 705 are compressed and transmitted.
JP 2006-186529 A Client integrated solution, screen transfer type, February 15, 2008 search, Internet <URL: http://www.nec.co.jp/clsol/gamentenso.html>

上述した方法では、各ブロックが含む内容の種類とは無関係に圧縮符号化の圧縮率が決まってしまう。また、送信される画面のフレームレートは、画面データ生成部１０５で生成された画面のフレームレートと同一である。   In the above-described method, the compression rate of compression encoding is determined regardless of the type of content included in each block. The frame rate of the screen to be transmitted is the same as the frame rate of the screen generated by the screen data generation unit 105.

しかし、シンクライアントのユーザにとってみれば、コンピュータマウス（以下、単に「マウス」という。）のマウスポインタの画質はさほど高くなくてもよく、その代わり、マウスの操作性を向上させるためには、マウスポインタの軌跡はなだらかである必要があるため、所定値以上のフレームレートを必要とする。他方、シンクライアントのユーザにとってみれば、ユーザにより入力された文字の画質が低いと、文字が見にくくなるため、ユーザにより入力された文字の画質は所定の程度以上に良い必要があり、その代わり、フレームレートが或る程度低くて、そのために文字の表示されるタイミングが多少遅れても、実用上問題とならない。   However, for a thin client user, the image quality of the mouse pointer of a computer mouse (hereinafter simply referred to as “mouse”) may not be so high. Instead, in order to improve the operability of the mouse, Since the locus of the pointer needs to be gentle, a frame rate higher than a predetermined value is required. On the other hand, for a thin client user, if the image quality of the character input by the user is low, it becomes difficult to see the character. Therefore, the image quality of the character input by the user needs to be better than a predetermined level. Even if the frame rate is somewhat low and the timing of displaying characters is somewhat delayed, there is no practical problem.

そこで、本発明は、シンクライアント側において、マウスポインタについては、画質が多少犠牲になっても、軌跡がなだらかになるようにし、且つ、文字については、キー入力から表示までの遅延時間が多少犠牲になっても、高画質が得られるような画面データ送信装置及び画面データ送信方法を提供することを目的とする。   Therefore, according to the present invention, on the thin client side, even if the image quality is somewhat sacrificed for the mouse pointer, the locus is made smooth, and for characters, the delay time from key input to display is somewhat sacrificed. It is an object of the present invention to provide a screen data transmitting apparatus and a screen data transmitting method that can obtain high image quality even when the image quality is changed.

本発明の第１の観点によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御手段と、前記圧縮符号化制御手段により前記圧縮符号化されたデータを送信する送信手段と、を備え、更に前記圧縮符号化制御手段が、前記送信手段により送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整手段と、前記送信手段により送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御手段と、を備えることを特徴とする画面データ送信装置が提供される。 According to the first aspect of the present invention , each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and is in a corresponding position. A difference detecting means for detecting whether or not there is a difference exceeding a predetermined amount from the block; and a frame rate and a block so that the data of the block for which the detection result of the difference detecting means is positive falls within a predetermined data amount range. Compression encoding control means for controlling the compression rate to perform compression encoding of the data, and transmission means for transmitting the data encoded by the compression encoding control means , and further comprising the compression encoding control means, out of the blocks transmitted by said transmission means, the period of the frame rate of a block of time the keyboard is operated pointing device is operated A frame rate adjusting means for lowering a frame rate; and a compression ratio of a block during a period when the pointing device is operated among blocks transmitted by the transmission means during a period when the keyboard is operated And a compression rate control means for making the rate lower than the rate.

また、本発明の第２の観点によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、前記差分検出ステップの検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御ステップと、前記圧縮符号化制御ステップにより前記圧縮符号化されたデータを送信する送信ステップと、を含み、更に前記圧縮符号化制御ステップが、前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、を含むことを特徴とする画面データ送信方法が提供される。 According to the second aspect of the present invention , each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and corresponds to the position. A difference detection step for detecting whether or not there is a difference exceeding a predetermined amount with a block in the frame, and a frame so that the data of the block for which the detection result of the difference detection step is positive falls within a predetermined data amount range includes a compression coding control step of performing compression coding of the data by controlling the rate and compression ratio, and a transmission step of transmitting the compressed data encoded by the compression encoding control step, further the compressed encoding control step, of the block transmitted by said transmitting step, the frame rate of a block of time the keyboard is operated Pointe A frame rate adjusting step for lowering a frame rate during a period in which the operating device is operated, and a compression rate of the block in a period in which the keyboard is operated among the blocks transmitted by the transmitting step. a compression ratio control step to be lower than the compression rate of the block operation is specified period of, screen data transmitting method characterized in that it comprises a are provided.

更に、本発明の第３の観点によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、前記差分検出ステップの検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御ステップと、前記圧縮符号化制御ステップにより前記圧縮符号化されたデータを送信する送信ステップと、を含み、更に前記圧縮符号化制御ステップが、前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、を含むことを特徴とする画面データ送信方法をコンピュータに実行させるためのプログラムが提供される。 Further, according to the third aspect of the present invention , each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and corresponds to the position. A difference detection step for detecting whether or not there is a difference exceeding a predetermined amount with a block in the frame, and a frame so that the data of the block for which the detection result of the difference detection step is positive falls within a predetermined data amount range includes a compression coding control step of performing compression coding of the data by controlling the rate and compression ratio, and a transmission step of transmitting the compressed data encoded by the compression encoding control step, further the compressed encoding control step, of the block transmitted by said transmitting step, the frame rate of a block of time the keyboard is operated Pointe A frame rate adjusting step for lowering a frame rate during a period in which the operating device is operated, and a compression rate of the block in a period in which the keyboard is operated among the blocks transmitted by the transmitting step. There is provided a program for causing a computer to execute a screen data transmission method characterized by including a compression rate control step of making the compression rate lower than the compression rate of a block during an operated period.

本発明によれば、シンクライアント側において、ポインティングデバイスのポインタについては、画質が多少犠牲になっても、軌跡がなだらかになるようになり、且つ、文字については、キー入力から表示までの遅延時間が多少犠牲になっても、高画質が得られる。   According to the present invention, on the thin client side, with respect to the pointer of the pointing device, the trajectory becomes gentle even if the image quality is somewhat sacrificed, and for characters, the delay time from key input to display High image quality can be obtained even if there is some sacrifice.

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the drawings.

図７は、本発明の実施形態による画面データ送信装置及びその周辺部の概要を示すブロック図である。   FIG. 7 is a block diagram showing an outline of the screen data transmitting apparatus and its peripheral part according to the embodiment of the present invention.

図７を参照すると、本発明の実施形態による画面データ送信装置及びその周辺部は、オペレーティングシステム１０１、デバイスドライバ群１０３、画面データ生成部１０５、第１フレームメモリ１０７、第２フレームメモリ１０９、画面データ書込部１１１、画面圧縮符号化部１１３、画面符号送信部１１５、ＨＩＤ(Human Interface Device)情報デコード部１１７、フレームレート制御部１１９及び圧縮率制御部１２１を含む。   Referring to FIG. 7, the screen data transmission apparatus and its peripheral units according to the embodiment of the present invention include an operating system 101, a device driver group 103, a screen data generation unit 105, a first frame memory 107, a second frame memory 109, a screen. A data writing unit 111, a screen compression encoding unit 113, a screen code transmission unit 115, an HID (Human Interface Device) information decoding unit 117, a frame rate control unit 119, and a compression rate control unit 121 are included.

オペレーティングシステム１０１は、例えば、Ｗｉｎｄｏｗｓ（登録商標）やＬｉｎｕｘ（登録商標）などである。   The operating system 101 is, for example, Windows (registered trademark) or Linux (registered trademark).

デバイスドライバ群１０３は、キーボードドライバ、マウスドライバなどのデバイスドライバを含み、オペレーティングシステムとハードウェアの間の層に位置する。   The device driver group 103 includes device drivers such as a keyboard driver and a mouse driver, and is located in a layer between the operating system and the hardware.

画面データ生成部１０５は、オペレーティングシステム１０１からの指示などに従って画面データを生成する。画面データ生成部１０５は、例えば、グラフィックスチップを含む。   The screen data generation unit 105 generates screen data in accordance with an instruction from the operating system 101 or the like. The screen data generation unit 105 includes, for example, a graphics chip.

第１フレームメモリ１０７は、画面データ生成部１０５により生成された画面データをフレーム単位で一時記憶する。第２のフレームメモリ１０９も、同様に、画面データ生成部１０５により生成された画面データをフレーム単位で一時記憶する。   The first frame memory 107 temporarily stores the screen data generated by the screen data generation unit 105 in units of frames. Similarly, the second frame memory 109 temporarily stores the screen data generated by the screen data generation unit 105 in units of frames.

画面データ書込部１１１は、画面データ生成部１０５により生成された画面データのうち第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むべき画面データをフレーム単位で第１フレームメモリ１０７又は第２フレームメモリ１０９に交互に書き込む。   The screen data writing unit 111 includes screen data to be written in the first frame memory 107 or the second frame memory 109 among the screen data generated by the screen data generation unit 105 in the first frame memory 107 or the second frame. The data is written alternately in the memory 109.

画面圧縮符号化部１１３は、第１フレームメモリ１０７又は第２フレームメモリ１０９に一時記憶されているある着目しているフレームの画面データと第２フレームメモリ１０９又は第１フレームメモリ１０７に一時記憶されているそれよりも前のフレームの画面データとの差分をブロック毎に算出し、ブロック間の差分が所定値を超えるブロックについて、その着目しているフレームに含まれる画面データを圧縮符号化する。   The screen compression encoding unit 113 temporarily stores screen data of a frame of interest temporarily stored in the first frame memory 107 or the second frame memory 109 and the second frame memory 109 or the first frame memory 107. A difference from the screen data of the previous frame is calculated for each block, and the screen data included in the focused frame is compression-encoded for a block in which the difference between the blocks exceeds a predetermined value.

画面符号送信部１１５は、画面圧縮符号化部１１３での圧縮符号化の結果得られた画面符号をクライアントに送信する。   The screen code transmission unit 115 transmits the screen code obtained as a result of the compression encoding in the screen compression encoding unit 113 to the client.

ＨＩＤ情報デコード部１１７は、クライアントから送信されてくるＨＩＤ情報をデコードする。ＨＩＤ情報は、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報を含む。また、前者の場合であれば、キーボードのどのキーが押下されているのかの情報を含む。更に、後者の場合であれば、マウスの移動量又はマウスの座標を示す情報を含む。また、後者の場合であれば、ＨＩＤ情報はマウスのボタンの操作情報（クリックに関する情報、ホイル操作に関する情報など）も含む。ポインティングデバイスとしてマウスの代わりにタッチパネルやタブレットを利用した場合でも同様である。   The HID information decoding unit 117 decodes HID information transmitted from the client. The HID information includes information for indicating whether the HID currently operated by the user is a keyboard or a mouse. In the former case, the information includes which key on the keyboard is pressed. Further, in the latter case, information indicating the amount of movement of the mouse or the coordinates of the mouse is included. In the latter case, the HID information also includes mouse button operation information (click information, foil operation information, etc.). The same applies when a touch panel or tablet is used instead of a mouse as a pointing device.

ＨＩＤ情報デコード部１１７によりデコードされたＨＩＤ情報は、デバイスドライバ群１０３に供給される。すなわち、デバイスドライバ群１０３にとってみれば、クライアントのキーボードとマウスから直接的に操作情報が得られる場合と同様な情報が得られる。   The HID information decoded by the HID information decoding unit 117 is supplied to the device driver group 103. That is, for the device driver group 103, information similar to that obtained when the operation information is obtained directly from the client keyboard and mouse can be obtained.

また、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報は、フレームレート制御部１１９及び圧縮率制御部１２１にも供給される。   Information indicating whether the HID currently operated by the user is a keyboard or a mouse is also supplied to the frame rate control unit 119 and the compression rate control unit 121.

フレームレート制御部１１９は、ＨＩＤ情報デコード部１１７から供給された、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報に対応したフレームレートで、画面データ書込部１１１が、画面データ生成部１０５で生成された画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むために、画面データ書込部１１１を制御する。すなわち、フレームレート制御部１１９は、現在ユーザにより操作されているＨＩＤがキーボードである場合には、画面データ書込部１１１が低いフレームレート（例えば、１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなど）で画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込み、現在ユーザにより操作されているＨＩＤがマウスである場合には、画面データ書込部１１１が高いフレームレート（例えば、６０ｆｐｓ、３０ｆｐｓなど）で画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むように画面データ書込部１１１を制御する。高いフレームレートとして、画面データ生成部１０５が生成する画面データのフレームレートと同一のフレームレートを採用してもよい。   The frame rate control unit 119 is a frame rate corresponding to information supplied from the HID information decoding unit 117 and indicating whether the HID currently operated by the user is a keyboard or a mouse. The data writing unit 111 controls the screen data writing unit 111 to write the screen data generated by the screen data generation unit 105 to the first frame memory 107 or the second frame memory 109. That is, when the HID currently operated by the user is a keyboard, the frame rate control unit 119 displays screen data at a low frame rate (for example, 15 fps, 10 fps, 5 fps, etc.). When the HID currently written by the user is a mouse, the screen data writing unit 111 writes screen data at a high frame rate (for example, 60 fps, 30 fps, etc.). The screen data writing unit 111 is controlled so as to write to the first frame memory 107 or the second frame memory 109. As the high frame rate, the same frame rate as the frame rate of the screen data generated by the screen data generation unit 105 may be adopted.

圧縮率制御部１２１は、ＨＩＤ情報デコード部１１７から供給された、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報に対応した圧縮パラメータで、画面圧縮符号化部１１３が、画面データ生成部１０５で生成された画面データのうち上述したように選択されたブロックのデータを圧縮符号化するために、画面圧縮符号化部１１３を制御する。すなわち、圧縮率制御部１２１は、現在ユーザにより操作されているＨＩＤがキーボードである場合には、画面圧縮符号化部１１３が低い圧縮率で画面データを圧縮符号化し、現在ユーザにより操作されているＨＩＤがマウスである場合には、画面圧縮符号化部１１３が高い圧縮率で画面データを圧縮符号化するように画面圧縮符号化部１１３を制御する。なお、同一の圧縮符号化を用いた場合、圧縮率が低いほど、画質が高くなる。   The compression rate control unit 121 is a compression parameter corresponding to information supplied from the HID information decoding unit 117 and indicating whether the HID currently operated by the user is a keyboard or a mouse. The compression encoding unit 113 controls the screen compression encoding unit 113 in order to compress and encode the data of the block selected as described above among the screen data generated by the screen data generation unit 105. That is, when the HID currently operated by the user is a keyboard, the compression rate control unit 121 compresses and encodes screen data at a low compression rate by the screen compression encoding unit 113 and is currently operated by the user. When the HID is a mouse, the screen compression encoding unit 113 controls the screen compression encoding unit 113 so as to compress and encode the screen data at a high compression rate. When the same compression encoding is used, the lower the compression rate, the higher the image quality.

また、圧縮率制御部１２１は、画面データ書込部１１１が画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込んだフレームの次のフレームのみで動作し、その他のフレームでは動作を休止する。この圧縮制御部１２１の動作と上述した画面データ書込部１１１の動作が連携することにより、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかに応じたフレームレートで画面データを圧縮することができるようになる。   The compression rate control unit 121 operates only in the frame next to the frame in which the screen data writing unit 111 has written the screen data in the first frame memory 107 or the second frame memory 109, and pauses operation in other frames. To do. The operation of the compression control unit 121 and the operation of the screen data writing unit 111 described above cooperate with each other at a frame rate corresponding to whether the HID currently operated by the user is a keyboard or a mouse. Screen data can be compressed.

次に、図７に示す本発明の実施形態による画面データ送信装置及びその周辺部の動作を図８を参照して説明する。   Next, operations of the screen data transmission apparatus and its peripheral parts according to the embodiment of the present invention shown in FIG. 7 will be described with reference to FIG.

クライアントとサーバが動作を開始すると、画面データ生成部１０５は、オペレーティングシステム１０１からの指示に基づいて、画面データを生成する動作に入る（ステップＳ２０１）。   When the client and the server start operation, the screen data generation unit 105 enters an operation for generating screen data based on an instruction from the operating system 101 (step S201).

これと同時に、画面データ書込部１１１、画面圧縮符号化部１１３及び画面符号送信部１１５は、それぞれ、画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む動作（ステップＳ２１１）、画面を圧縮符号化する動作（ステップＳ２１３）及び画面圧縮符号を送信する動作（ステップＳ２１５）に入る。   At the same time, the screen data writing unit 111, the screen compression encoding unit 113, and the screen code transmission unit 115 write the screen data in the first frame memory 107 or the second frame memory 109, respectively (step S211), screen The operation enters the operation of compressing and encoding (step S213) and the operation of transmitting the screen compression code (step S215).

更に、ＨＩＤ情報デコード部１１７、フレームレート制御部１１９及び圧縮率制御部１２１は、以下に説明する動作に入る。   Further, the HID information decoding unit 117, the frame rate control unit 119, and the compression rate control unit 121 enter the operation described below.

まず、ＨＩＤ情報デコード部１１７は、クライアントからＨＩＤ情報が送信されてくるのを待つ（ステップＳ２２１）。   First, the HID information decoding unit 117 waits for HID information to be transmitted from the client (step S221).

ＨＩＤ情報デコード部１１７は、クライアントからＨＩＤ情報が送信されてきたならば（ステップＳ２２１でＹＥＳ）、ＨＩＤ情報をデコードする（ステップＳ２２３）。   If the HID information is transmitted from the client (YES in step S221), the HID information decoding unit 117 decodes the HID information (step S223).

次に、ＨＩＤ情報デコード部１１７は、ＨＩＤがキーボードであるのか、又は、マウスであるのかを調べる（ステップＳ２２５）。   Next, the HID information decoding unit 117 checks whether the HID is a keyboard or a mouse (step S225).

ＨＩＤがキーボードである場合には、フレームレート制御部１１９は、低いフレームレートを画面データ書込部１１１のレジスタ１１１−１に書き込む（ステップＳ２２７）。画面データ書込部１１１は、このレジスタに設定されたフレームレートで画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む。   If the HID is a keyboard, the frame rate control unit 119 writes a low frame rate to the register 111-1 of the screen data writing unit 111 (step S227). The screen data writing unit 111 writes screen data into the first frame memory 107 or the second frame memory 109 at the frame rate set in this register.

次に、圧縮率制御部１２１は、低い圧縮率を画面圧縮符号化部１１３のレジスタ１１３−１に書き込む（ステップＳ２２９）。画面圧縮符号化部１１３は、このレジスタに設定された圧縮率で画面データを圧縮符号化する。   Next, the compression rate control unit 121 writes the low compression rate in the register 113-1 of the screen compression encoding unit 113 (step S229). The screen compression encoding unit 113 compresses and encodes the screen data at the compression rate set in this register.

ＨＩＤがマウスである場合には、フレームレート制御部１１９は、高いフレームレートを画面データ書込部１１１のレジスタ１１１−１に書き込む（ステップＳ２３１）。画面データ書込部１１１は、このレジスタに設定されたフレームレートで画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む。   If the HID is a mouse, the frame rate control unit 119 writes a high frame rate in the register 111-1 of the screen data writing unit 111 (step S231). The screen data writing unit 111 writes screen data into the first frame memory 107 or the second frame memory 109 at the frame rate set in this register.

次に、圧縮率制御部１２１は、高い圧縮率を画面圧縮符号化部１１３のレジスタ１１３−１に書き込む（ステップＳ２３３）。画面圧縮符号化部１１３は、このレジスタに設定された圧縮率で画面データを圧縮符号化する。   Next, the compression rate control unit 121 writes the high compression rate in the register 113-1 of the screen compression encoding unit 113 (step S233). The screen compression encoding unit 113 compresses and encodes the screen data at the compression rate set in this register.

ステップＳ２２９又はＳ２３３を実行した後には、ステップＳ２２１に戻り、新たなＨＩＤ情報がクライアントから送信されてくるのを待つ。   After executing Step S229 or S233, the process returns to Step S221 and waits for new HID information to be transmitted from the client.

次に、図７に示す本発明の実施形態による画面データ送信装置及びその周辺部の動作例を図９を参照して説明する。   Next, an example of the operation of the screen data transmitting apparatus and its peripheral part according to the embodiment of the present invention shown in FIG. 7 will be described with reference to FIG.

ＨＩＤがキーボードである期間Ｔ１においては、フレームレートは低く、且つ、圧縮率も低い。他方、ＨＩＤがマウスである期間Ｔ２においては、フレームレートは高く、且つ、圧縮率も高い。ここでのフレームレートは、通常のフレームレートと同一であってもよい。   In the period T1 when the HID is a keyboard, the frame rate is low and the compression rate is also low. On the other hand, in the period T2 in which the HID is a mouse, the frame rate is high and the compression rate is also high. The frame rate here may be the same as the normal frame rate.

また、ＨＩＤ情報がない期間では、フレームレート及び圧縮率は、通常のものである。   In addition, the frame rate and compression rate are normal during a period when there is no HID information.

ＨＩＤがキーボードである場合のフレームレートを通常のフレームレートよりも低いものとし、ＨＩＤがマウスである場合のフレームレートを通常のフレームレートよりも高いもの又はそれと同一のものとしてもよい。   The frame rate when the HID is a keyboard may be lower than the normal frame rate, and the frame rate when the HID is a mouse may be higher than or equal to the normal frame rate.

ＨＩＤがキーボードである場合の圧縮率を通常の圧縮率よりも低いものとし、ＨＩＤがマウスである場合の圧縮率を通常の圧縮率よりも高いものとしてもよい。   The compression rate when the HID is a keyboard may be lower than the normal compression rate, and the compression rate when the HID is a mouse may be higher than the normal compression rate.

また、図７に示す画面データ送信装置及びその周辺部は、ハードウェアによって構築することも可能であるが、コンピュータをこれらのものとして機能させるためのプログラムをコンピュータが読み込んで実行することによって構築してもよい。   Further, the screen data transmission apparatus and its peripheral part shown in FIG. 7 can be constructed by hardware, but are constructed by the computer reading and executing a program for causing the computer to function as these. May be.

更に、上記の説明では、ポインティングデバイスの一例としてマウスを例に取ったが、マウスをタッチパネルやタブレットなどの他のポインティングデバイスに置き換えてもよい。   Furthermore, in the above description, a mouse is taken as an example of a pointing device, but the mouse may be replaced with another pointing device such as a touch panel or a tablet.

基本的な画面データ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of a basic screen data transmission apparatus. 画面ブロックを示す図である。It is a figure which shows a screen block. シンクライアントのうち表示画面に関連する部分を示すブロック図である。It is a block diagram which shows the part relevant to a display screen among thin clients. 図１に示す基本的な画面データ送信装置の動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the basic screen data transmitting apparatus shown in FIG. 1. 画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための第１の図である。It is a 1st figure for demonstrating the screen block transferred in a screen transfer type | mold thin client system. 画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための第２の図である。It is the 2nd figure for demonstrating the screen block transferred in a screen transfer type thin client system. 本発明の実施形態による画面データ送信装置及びその周辺部の構成を示すブロック図である。It is a block diagram which shows the structure of the screen data transmitter by embodiment of this invention, and its periphery part. 本発明の実施形態による画面データ送信装置及びその周辺部の動作を示すフローチャートである。3 is a flowchart illustrating operations of a screen data transmission apparatus and its peripheral part according to an embodiment of the present invention. 本発明の実施形態による画面データ送信装置及びその周辺部の動作を示すタイミング図である。FIG. 5 is a timing diagram illustrating operations of the screen data transmission device and its peripherals according to an embodiment of the present invention.

符号の説明Explanation of symbols

１０１ オペレーティングシステム
１０３ デバイスドライバ群
１０５ 画面データ生成部
１０７ 第１フレームメモリ
１０９ 第２フレームメモリ
１１１ 画面データ書込部
１１１−１ レジスタ
１１３ 画面圧縮符号化部
１１３−１ レジスタ
１１５ 画面符号送信部
１１７ ＨＩＤ情報デコード部
１１９ フレームレート制御部
１２１ 圧縮率制御部 DESCRIPTION OF SYMBOLS 101 Operating system 103 Device driver group 105 Screen data generation part 107 1st frame memory 109 2nd frame memory 111 Screen data writing part 111-1 Register 113 Screen compression encoding part 113-1 Register 115 Screen code transmission part 117 HID information Decoding unit 119 Frame rate control unit 121 Compression rate control unit

Claims (9)

第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出手段と、
前記差分検出手段の検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御手段と、
前記圧縮符号化制御手段により前記圧縮符号化されたデータを送信する送信手段と、
を備え、
更に前記圧縮符号化制御手段が、
前記送信手段により送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整手段と、
前記送信手段により送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御手段と、
を備えることを特徴とする画面データ送信装置。 Whether each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and there is a difference exceeding a predetermined amount from the block at the corresponding position. Difference detection means for detecting
Compression encoding control means for controlling the frame rate and the compression rate so that the data of a block for which the detection result of the difference detection means is positive falls within a predetermined data amount range, and compressing and encoding the data. ,
Transmitting means for transmitting the compression encoded data by the compression encoding control means ;
With
Further, the compression encoding control means is
Of the blocks transmitted by the transmitting means, a frame rate adjusting means for lowering the frame rate of the block during the period in which the keyboard is operated than the frame rate during the period in which the pointing device is operated;
Of the blocks transmitted by the transmission means, a compression ratio control means for lowering the compression ratio of the blocks during the period in which the keyboard is operated to be lower than the compression ratio of the blocks in the period during which the pointing device is operated;
A screen data transmission device comprising: 請求項１に記載の画面データ送信装置において、
前記フレームレート調整手段及び前記圧縮率制御手段は、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とする画面データ送信装置。 The screen data transmission device according to claim 1,
The frame rate adjusting unit and the compression rate control unit are configured to determine whether the present time belongs to a period during which the keyboard is operated or a period during which the pointing device is operated. A screen data transmitting apparatus that makes a determination based on human interface device information including information for identifying whether the device is a keyboard or a pointing device. 請求項２に記載の画面データ送信装置において、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とする画面データ送信装置。 The screen data transmission device according to claim 2,
The human interface device information also includes information for updating a screen frame. 第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、
前記差分検出ステップの検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御ステップと、
前記圧縮符号化制御ステップにより前記圧縮符号化されたデータを送信する送信ステップと、
を含み、
更に前記圧縮符号化制御ステップが、
前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、
前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、
を含むことを特徴とする画面データ送信方法。 Whether each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and there is a difference exceeding a predetermined amount from the block at the corresponding position. A difference detection step for detecting
A compression coding control step for performing compression coding of the data by controlling a frame rate and a compression rate so that data of a block in which the detection result of the difference detection step is positive falls within a predetermined data amount range ; ,
A transmission step of transmitting the compression encoded data by the compression encoding control step ;
Including
Further, the compression encoding control step includes
Of the blocks transmitted by the transmitting step, a frame rate adjusting step for lowering a frame rate of a block during a period in which the keyboard is operated to a frame rate during a period in which the pointing device is operated;
Of the blocks transmitted by the transmission step, a compression rate control step for lowering the compression rate of the block during the period in which the keyboard is operated to be lower than the compression rate of the block in the period during which the pointing device is operated;
The screen data transmission method characterized by including . 請求項４に記載の画面データ送信方法において、
前記フレームレート調整ステップ及び前記圧縮率制御ステップは、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とする画面データ送信方法。 The screen data transmission method according to claim 4,
The human interface device that is currently operated indicates whether the frame rate adjustment step and the compression rate control step currently belong to a period in which the keyboard is operated or a period in which the pointing device is operated A screen data transmission method comprising: determining based on human interface device information including information for identifying whether the device is a keyboard or a pointing device. 請求項５に記載の画面データ送信方法において、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とする画面データ送信方法。 The screen data transmission method according to claim 5,
The method of transmitting screen data, wherein the human interface device information includes information for updating a screen frame. 第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、
前記差分検出ステップの検出結果が肯定的であるブロックのデータが所定のデータ量の範囲内に収まるようにフレームレート及び圧縮率を制御して前記データの圧縮符号化を行う圧縮符号化制御ステップと、
前記圧縮符号化制御ステップにより前記圧縮符号化されたデータを送信する送信ステップと、
を含み、
更に前記圧縮符号化制御ステップが、
前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、
前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、
を含むことを特徴とする画面データ送信方法をコンピュータに実行させるためのプログラム。 Whether each of the plurality of blocks included in the first screen frame is included in the second screen frame before the first screen frame and there is a difference exceeding a predetermined amount from the block at the corresponding position. A difference detection step for detecting
A compression coding control step for performing compression coding of the data by controlling a frame rate and a compression rate so that data of a block in which the detection result of the difference detection step is positive falls within a predetermined data amount range ; ,
A transmission step of transmitting the compression encoded data by the compression encoding control step ;
Including
Further, the compression encoding control step includes
Of the blocks transmitted by the transmitting step, a frame rate adjusting step for lowering a frame rate of a block during a period in which the keyboard is operated to a frame rate during a period in which the pointing device is operated;
Of the blocks transmitted by the transmission step, a compression rate control step for lowering the compression rate of the block during the period in which the keyboard is operated to be lower than the compression rate of the block in the period during which the pointing device is operated;
Program for executing a screen data transmission wherein the computer comprises a. 請求項７に記載のプログラムにおいて、
前記フレームレート調整ステップ及び前記圧縮率制御ステップは、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とするプログラム。 The program according to claim 7,
The human interface device that is currently operated indicates whether the frame rate adjustment step and the compression rate control step currently belong to a period in which the keyboard is operated or a period in which the pointing device is operated A program that makes a determination based on human interface device information that includes information for identifying whether the device is a keyboard or a pointing device. 請求項８に記載のプログラムにおいて、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とするプログラム。 The program according to claim 8, wherein
The human interface device information includes a program for updating a screen frame.
JP2008223468A 2008-09-01 2008-09-01 Screen data transmitting apparatus and method Expired - Fee Related JP5168486B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223468A JP5168486B2 (en) 2008-09-01 2008-09-01 Screen data transmitting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223468A JP5168486B2 (en) 2008-09-01 2008-09-01 Screen data transmitting apparatus and method

Publications (2)

Publication Number Publication Date
JP2010062625A JP2010062625A (en) 2010-03-18
JP5168486B2 true JP5168486B2 (en) 2013-03-21

Family

ID=42189003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223468A Expired - Fee Related JP5168486B2 (en) 2008-09-01 2008-09-01 Screen data transmitting apparatus and method

Country Status (1)

Country Link
JP (1) JP5168486B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130263A (en) 2010-03-18 2012-11-29 미츠비시 쥬고교 가부시키가이샤 Molding method for plate-shaped workpiece, and molded article

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4246528B2 (en) * 2003-03-26 2009-04-02 富士通コンポーネント株式会社 Selector
JP2004312584A (en) * 2003-04-10 2004-11-04 Matsushita Electric Ind Co Ltd Image processing method and image display system

Also Published As

Publication number Publication date
JP2010062625A (en) 2010-03-18

Similar Documents

Publication Publication Date Title
US20180270496A1 (en) Composite video streaming using stateless compression
CN102971689B (en) Haptic surface compression
US9485290B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
EP2975846B1 (en) Image frame transmission method, mobile terminal and smart television
WO2021169236A1 (en) Rendering method and apparatus
CN102547450B (en) Delayed image decoding
US20140157190A1 (en) Grid display device and grid display method in mobile terminal
US20170149857A1 (en) Systems and methods for transmitting data
US10432681B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
US20180070093A1 (en) Display apparatus and control method thereof
JPWO2011077550A1 (en) Screen relay device
CN102929569B (en) The decoding method of Computer display content and system
CN111540032A (en) Audio-based model control method, device, medium and electronic equipment
JP6221214B2 (en) System, terminal device, and image processing method
CN114071190A (en) Cloud application video stream processing method, related device and computer program product
JP5168486B2 (en) Screen data transmitting apparatus and method
JP5110304B2 (en) Screen data transmitting apparatus, screen data transmitting method, and screen data transmitting program
JP4675944B2 (en) Image processing apparatus, image processing method, and image processing program
CN115834889A (en) Video encoding and decoding method and device, electronic equipment and medium
JP2016012797A (en) Plotting system, information processor, terminal equipment, plotting control program, plotting program, and plotting control method
JP5509757B2 (en) Information processing apparatus, display control method, and program
JPWO2014024255A1 (en) Terminal and video playback program
JP4985492B2 (en) Screen data transmitting apparatus and method
CN112181221A (en) Image processing method and device, computer readable medium and electronic device
CN105745930A (en) Techniques for image bitstream processing

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100726

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100726

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121211

LAPS Cancellation because of no payment of annual fees