JP2011139361A - Image processor, image processing method and program - Google Patents
Image processor, image processing method and program Download PDFInfo
- Publication number
- JP2011139361A JP2011139361A JP2009298784A JP2009298784A JP2011139361A JP 2011139361 A JP2011139361 A JP 2011139361A JP 2009298784 A JP2009298784 A JP 2009298784A JP 2009298784 A JP2009298784 A JP 2009298784A JP 2011139361 A JP2011139361 A JP 2011139361A
- Authority
- JP
- Japan
- Prior art keywords
- screen data
- drawing command
- region
- attribute
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、サーバからクライアント端末に画面データを送信するために用いて好適な技術に関する。 The present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly to a technique suitable for use in transmitting screen data from a server to a client terminal.
従来、画面共有サーバの画面をキャプチャして転送する手法が数多く提案されている。例えば、特許文献1に記載のシンクライアントシステムでは、シンクライアントサーバ装置に映像再生処理部を設けるとともに、シンクライアント端末には映像描画処理部を設ける。そして、シンクライアントサーバ装置側では、映像表示領域に透過色を設定し、画面データとしてリモコン経由で送信するとともに、映像データを別ルートで送信する。これにより、シンクライアント端末側では、これらの画面データ及び映像データをオーバーレイ表示にて同一画面上に表示している。 Conventionally, many methods for capturing and transferring a screen of a screen sharing server have been proposed. For example, in the thin client system described in Patent Document 1, a video reproduction processing unit is provided in the thin client server device, and a video drawing processing unit is provided in the thin client terminal. Then, on the thin client server device side, a transparent color is set in the video display area, and it is transmitted as screen data via the remote controller, and the video data is transmitted via another route. Thereby, on the thin client terminal side, these screen data and video data are displayed on the same screen by overlay display.
また、特許文献2に記載の画像伝送システムでは、画像の変化した描画領域を複数の矩形範囲として識別し、前記識別した複数の矩形範囲と、描画範囲集合記憶部から読み出した複数の矩形範囲の集合との比較を行う。さらに、新しい矩形範囲の集合を再構成して記憶している。そして、送信可能になったことが通知されると、再構成した矩形範囲の集合を読み出し、複数の矩形範囲内の画像を読み出して画像を圧縮処理している。
Further, in the image transmission system described in
従来は、描画された画像データ(ビットマップデータもしくはRAWデータ)の変化分を矩形領域で時間方向に重畳してメモリに蓄積する。そして、送信時に最終的な変化分の画像データを複数の矩形領域で読み出し、さらに当該複数の画像データを圧縮して送信するように構成されている。このように、最終変化分の画像データのみを送信することにより、通信路の負荷を軽減している。ところが、受信側では圧縮データを展開する処理と、複数の矩形領域を配置する位置及び当該複数の矩形範囲と画像データとを同期させる処理を行わなければならず、処理負荷が膨大になってしまう。 Conventionally, changes in drawn image data (bitmap data or RAW data) are superimposed in a rectangular area in the time direction and stored in a memory. Then, at the time of transmission, the image data corresponding to the final change is read out in a plurality of rectangular areas, and the plurality of image data is further compressed and transmitted. In this way, the load on the communication path is reduced by transmitting only the image data corresponding to the final change. However, on the receiving side, processing to expand compressed data, processing to synchronize the position where a plurality of rectangular areas are arranged, and the plurality of rectangular areas and image data must be performed, resulting in an enormous processing load. .
特許文献1に記載の構成では、映像データの位置が移動するとオーバーレイする画面データの位置も変化してしまう。このため、それぞれ別々で送った映像データ及び画面データをクライアント側で合成表示する際に、同期させるための表示制御処理が複雑になるという問題があった。また、特許文献2に記載の構成では、画像の変化した描画領域を矩形範囲で監視して記憶する。このため、当該処理を行うため制御部を設けたり、矩形範囲のイメージをそのまま送信用として保存したりするために、大容量のメモリが必要となる。その結果、処理構成が複雑になりコストが嵩むという問題があった。
In the configuration described in Patent Document 1, when the position of the video data moves, the position of the screen data to be overlaid also changes. For this reason, there is a problem in that display control processing for synchronization is complicated when video data and screen data sent separately are combined and displayed on the client side. Further, in the configuration described in
本発明は前述の問題点に鑑み、画面共有システムにおける送信側の処理負荷を軽減するとともに、受信側での処理負荷を軽減できるようにすることを目的としている。 In view of the above-described problems, the present invention has an object to reduce the processing load on the transmission side in the screen sharing system and to reduce the processing load on the reception side.
本発明の画像処理装置は、画面データを受信するクライアント端末とネットワークを介して接続され、映像データを再生して前記画面データを生成する画像処理装置であって、前記再生した映像データから、アプリケーションにより発行される描画コマンドを用いて画面データを描画する描画手段と、前記描画手段で用いた描画コマンドを記憶する描画コマンド記憶手段と、前記描画手段によって描画された画面データを記憶する画面データ記憶手段と、前記描画コマンド記憶手段に記憶された描画コマンドを解析して、前記画面データ記憶手段に記憶された画面データを複数の領域に分離する領域分離手段と、前記描画コマンド記憶手段に記憶された描画コマンドを解析して、前記領域分離手段によって分離された各々の領域の属性を判定する属性判定手段と、前記領域分離手段によって分離された領域に対して、前記属性判定手段によって判定された属性に応じた符号化を行う符号化手段と、前記符号化手段によって符号化された領域に係る画面データを前記クライアント端末に送信する送信手段とを有することを特徴とする。 An image processing apparatus of the present invention is an image processing apparatus that is connected to a client terminal that receives screen data via a network, reproduces video data, and generates the screen data. A drawing unit that draws screen data using a drawing command issued by the computer, a drawing command storage unit that stores the drawing command used in the drawing unit, and a screen data storage that stores the screen data drawn by the drawing unit Means for analyzing the drawing command stored in the drawing command storage means, and separating the screen data stored in the screen data storage means into a plurality of areas, and stored in the drawing command storage means. Analyzing the drawn command and determining the attribute of each area separated by the area separating means Attribute determining means, encoding means for performing encoding according to the attribute determined by the attribute determining means for the area separated by the area separating means, and the area encoded by the encoding means Transmission means for transmitting the screen data according to the above to the client terminal.
本発明によれば、画面データそのものを詳細分析処理することなく領域分離を行い、クライアント端末に画面データを送信することができる。 According to the present invention, it is possible to perform region separation without performing detailed analysis processing on the screen data itself, and to transmit the screen data to the client terminal.
(第1の実施形態)
以下、本発明の第1の実施形態について図面を参照しながら説明する。
図1は、本実施形態における画面共有システムの構成例を示すブロック図である。
図1において、本実施形態に係る画面共有システムでは、画面共有サーバ装置1と、共有画面の受け側と操作の入力とを担当するシンクライアント端末2とがネットワーク3により接続されている。また、画面共有サーバ装置1には、画面表示を行うディスプレイ装置4が接続されている。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of a screen sharing system according to the present embodiment.
1, in the screen sharing system according to the present embodiment, a screen sharing server device 1 and a
画面共有サーバ装置1は、以下の構成要素より構成されている。描画フレームワーク110は、各種の文字、静止画及び動画等の映像を描画コマンド等により描画し、フレームイメージデータとしてフレームバッファ140に格納するためのものである。ここで、描画コマンドとは、例えば、グラフィックオブジェクトや自然画の動画ストリームをフレームバッファ140にビットマップデータ(もしくは表示用RAWデータ)として格納する画像データを直接扱うグラフィックコマンドの表示下位層等を指す。なお、描画コマンドは、上述の例に限定されるものではない。描画コマンド記憶部120は、描画フレームワーク110により実行された描画コマンドを監視しながら一時的に保存するためのものである。そして、描画コマンド記憶部120は、描画コマンドにより描画された領域が同じコマンドの消去コマンドにより消去されるまで、描画コマンドを保存する。
The screen sharing server device 1 is composed of the following components. The
キャプチャ制御部130は、フレームバッファ140に格納されたフレームイメージデータを所定のキャプチャレートにより複製して転送する設定を行うためのものである。また、キャプチャ制御部130は、描画コマンド記憶部120に保存されている描画コマンドを取得する等の制御も行う。フレームバッファ140は、描画コマンドにより描かれた画面データ(フレームイメージデータ)を格納するためのメモリであり、ディスプレイ装置4にて画面を表示する際には、フレームバッファ140からフレームイメージデータが読み出される。映像再生部150は、映像データ部160に蓄積された映像データを再生するためのものである。
The
転送用バッファ170は画面データ記憶手段として機能し、画面転送用として複製されたフレームイメージデータを格納するためのバッファである。リモート画面制御部180は、転送用バッファ170に格納されたフレームイメージデータを転送用として符号化するためのものである。また、リモート画面制御部180は、シンクライアント端末2から各種情報を受信し、画面共有処理の制御を司る。通信部190は、主に、外部機器(特に、シンクライアント端末2)とネットワーク3等を通じて通信を司るものである。
The
本実施形態における画面共有サーバ装置1のフレームバッファ140は、不図示のRAM等のメインメモリの一部を用い、固定領域でフレームバッファとして利用するものとする。
The
図2は、本実施形態の画面共有システムにおける動作シーケンスを示す図である。図3は、本実施形態における画面共有サーバ装置1により画面を転送する動作手順の一例を示すフローチャートである。以下、図2及び図3を参照しながら、本実施形態に係る画面共有システムの処理について詳細に説明する。 FIG. 2 is a diagram showing an operation sequence in the screen sharing system of the present embodiment. FIG. 3 is a flowchart illustrating an example of an operation procedure for transferring a screen by the screen sharing server apparatus 1 according to the present embodiment. Hereinafter, the processing of the screen sharing system according to the present embodiment will be described in detail with reference to FIGS. 2 and 3.
まず、シンクライアント端末2において、ユーザによってログイン操作が実行されると、リモート画面制御部180は、シンクライアント端末2から図2に示すログイン要求M001を、通信部190を介して受信するまで待機する(ステップS301)。そして、ログイン要求M001を受信すると、リモート画面制御部180は、シンクライアント端末2のログイン要求を受理するかどうかを判定する(ステップS302)。具体的には、ログイン要求M001のパラメータとして受信したID及びパスワードを認証し、正当であるか否かを判定する。この判定の結果、ID及びパスワードが正当でなく、ログイン要求を受理しない場合は、処理を終了する。
First, when a login operation is executed by the user in the
一方、ステップS302の判定の結果、ログイン要求M001のパラメータとして受信したID及びパスワードが正当であり、ログイン要求を受理する場合は、画面転送前処理を行う(ステップS303)。なお、この画面転送前処理については、図4の説明において後述する。次に、画面転送本処理を行う(ステップS304)。この画面転送本処理についても、図5の説明において後述する。この画面転送本処理により、シンクライアント端末2では、画面共有サーバ装置1から符号化された画面データを、ネットワーク3を介して受信し、受信した画面データを復号化してその画面を表示する。
On the other hand, if the ID and password received as parameters of the login request M001 are valid as a result of the determination in step S302 and the login request is accepted, screen transfer pre-processing is performed (step S303). This screen transfer pre-processing will be described later in the description of FIG. Next, screen transfer main processing is performed (step S304). This screen transfer main processing will also be described later in the description of FIG. Through this screen transfer process, the
シンクライアント端末2において、ユーザによりログアウト操作が実行されると、図2に示すリモートコントロールイベント(ログアウト)M004がネットワーク3を介して画面共有サーバ装置1に送信される。そこで、リモート画面制御部180は、シンクライアント端末2からリモートコントロールイベント(ログアウト)M004を、通信部190を経由して受信したか否かを判定する(ステップS305)。この判定の結果、リモートコントロールイベント(ログアウト)M004を受信していない場合は、ステップS304に戻る。
When a logout operation is executed by the user in the
一方、ステップS305の判定の結果、リモートコントロールイベント(ログアウト)M004を受信した場合は、リモート画面制御部180は、画面転送処理の終了処理を行い(ステップS306)、処理を終了する。ステップS306では具体的に以下の処理を実行する。
On the other hand, if the result of determination in step S305 is that a remote control event (logout) M004 has been received, the remote
まず、リモート画面制御部180は、キャプチャ制御部130に対してキャプチャの終了を通知する。そして、キャプチャ制御部130は、描画フレームワーク110に対してフレームバッファ140に格納されているフレームイメージデータの複製を終了するよう指示する。さらに、キャプチャ制御部130は、描画コマンド記憶部120に対し、保存していた描画コマンドを消去するとともに、描画コマンドの監視及び一時的な記憶を停止するよう指示する。
First, the remote
図4は、図3のステップS303における画面転送前処理の詳細な手順の一例を示すフローチャートである。
まず、図4において、リモート画面制御部180は、画面共有サーバ装置1における現在のリソース情報を取得する(ステップS401)。そして、ログイン要求M001のパラメータとして受信したシンクライアント端末2の機器情報と、画面共有サーバ装置1の現在のリソース情報とを元に、画面転送用のパラメータを決定する。具体的には、シンクライアント端末2の仕様など画面共有システムに最適な画面共有用のイメージの画角、キャプチャレート等を割り出す(ステップS402)。
FIG. 4 is a flowchart showing an example of a detailed procedure of the screen transfer pre-processing in step S303 of FIG.
First, in FIG. 4, the remote
次に、リモート画面制御部180は、画面共有用のイメージの画角やキャプチャレート等のキャプチャ情報をキャプチャ制御部130に通知する。さらに、シンクライアント端末2に対して当該キャプチャ情報から画面転送パラメータ情報を生成し、図2に示すログイン確認M002とともに通信部190を介して送信する(ステップS403)。このとき、シンクライアント端末2では、画面共有サーバ装置1からログイン確認M002と画面転送パラメータ情報とを、ネットワーク3を経由して受信する。そして、当該画面転送パラメータ情報を元に各種設定を行い、転送されてくる画面を待ち受けることになる。
Next, the remote
次に、キャプチャ制御部130は、描画フレームワーク110に対して、ステップS402で割り出したキャプチャレートでフレームバッファ140に格納されたフレームイメージデータの複製を開始するように指示する(ステップS404)。以上の処理により画面転送前処理を終了する。
Next, the
図5は、図3のステップS304における画面転送本処理の詳細な手順の一例を示すフローチャートである。
まず、キャプチャ制御部130は、描画コマンド記憶部120に対し、描画フレームワーク110において実行される描画コマンドを監視しながら一時的に記憶するよう指示する(ステップS501)。描画コマンド記憶部120から描画コマンドが削除されるタイミングは、監視した描画コマンドの中で、終了コマンドが実行された場合、または、描画コマンドを発行したアプリケーションが終了した場合等を想定する。
FIG. 5 is a flowchart showing an example of a detailed procedure of the screen transfer main process in step S304 of FIG.
First, the
シンクライアント端末2でログイン確認M002を受信すると、シンクライアント端末2からリモートコントロールイベントM003が送信される。このリモートコントロールイベントM003により、画面共有サーバ装置1ではリモート画面制御部180の制御により、アプリケーションソフトウェアが動作し、画面共有サーバ装置1の映像データ部160に蓄積されている映像データの再生が指示される。この場合、映像再生部150により、映像データ部160から指定の映像データを読み出し、映像再生に関する描画コマンドを描画フレームワーク110により実行する。
When the
これにより、キャプチャ制御部130は、アプリケーションの動作を検知し、映像再生に関する描画コマンド等の領域分離に関係するコマンドが描画コマンド記憶部120に記憶されたかどうかを判断する(ステップS502)。
Thereby, the
この判断の結果、描画コマンド記憶部120に映像再生に関する描画コマンド等の領域分離に関係するコマンドが記憶されていない場合は、通常転送処理を実施する。通常転送処理では、転送用バッファ170に複製されたフレームイメージデータに対して、リモート画面制御部180により単一の符号化処理を行う(ステップS503)。そして、通信部190及びネットワーク3を経由してシンクライアント端末2に送信する(ステップS506)。
As a result of this determination, when a command related to area separation such as a drawing command related to video reproduction is not stored in the drawing
一方、ステップS502の判断の結果、描画コマンド記憶部120に映像再生に関する描画コマンド等の領域分離に関係するコマンドが記憶された場合は、以下の処理を実行する。まず、転送用バッファ170にフレームイメージデータが複製される際に、リモート画面制御部180は、複製されたフレームイメージに対して、ステップS402で割り出した転送用の画角等に合わせるため、スケーラ等を用いてリサイズ等の画像処理を行う。また、描画コマンド記憶部120に一時記憶された映像再生に関する描画コマンド等の領域分離に関係するコマンドを詳細に解析する。そして、解析結果により転送用バッファ170に記憶されたフレームイメージデータに対して、文字属性部分、自然画属性部分等の領域の分離処理及び属性判定を行う(ステップS504)。次に、各領域の属性に適切な符号化方式を当てはめて、各領域の符号化をリモート画面制御部180のエンコーダにより実行する(ステップS505)。そして、その対象となる領域のイメージデータを通信部190及びネットワーク3を経由してシンクライアント端末2に送信する(ステップS506)。
On the other hand, as a result of the determination in step S502, when a command related to area separation such as a drawing command related to video reproduction is stored in the drawing
ここで、前述した領域の分離処理としては、描画コマンド同士の領域の重なり及び重なる順番も領域を分離するためのパラメータとして考慮する。このように、描画コマンドを発行する時に描かれる対象のみをキャプチャする方法とは異なり、フレームバッファに一旦記憶することによって各領域間の位置・重複関係やフレームの同期を取りやすくし、シンクライアント端末2での同期処理を簡略化している。 Here, in the region separation processing described above, the overlapping and overlapping order of regions of drawing commands are also considered as parameters for separating the regions. In this way, unlike the method of capturing only the object to be drawn when issuing the drawing command, it is easy to obtain the position / overlapping relationship between the areas and the frame synchronization by temporarily storing them in the frame buffer. 2 is simplified.
自然画属性部分の領域は、自然画が綺麗に表示されるようなフレーム内圧縮方法により符号化する。例えば、DCT(離散コサイン変換)符号化や、ハフマン符号化(算術圧縮符号化)、これら2つを組み合わせたJPEG圧縮、ウェーブレット変換符号化、自然画に最適なJPEG圧縮のパラメータを用いることにより、より綺麗に自然画を表示することができる。これに対して文字属性部分の領域は、文字が綺麗に表示されるような圧縮方法により符号化する。例えば、LZ、LZW等の辞書圧縮やランレングス圧縮等の可逆圧縮方法を用いることにより、より綺麗に文字領域を表示することができる。 The area of the natural image attribute portion is encoded by an intra-frame compression method so that the natural image is clearly displayed. For example, by using DCT (discrete cosine transform) encoding, Huffman encoding (arithmetic compression encoding), JPEG compression combining these two, wavelet transform encoding, and JPEG compression parameters optimal for natural images, A natural picture can be displayed more beautifully. On the other hand, the area of the character attribute part is encoded by a compression method so that the characters are clearly displayed. For example, by using a lossless compression method such as dictionary compression such as LZ or LZW or run-length compression, the character area can be displayed more clearly.
本実施形態では、文字属性部分、自然画属性部分等の領域は、矩形領域で分離処理を行っている。一方、描画コマンドにより描かれる領域が矩形以外の場合には、例えば、当該描かれた矩形でない描画領域の外形を囲む矩形領域で近似して領域分離を実施する。 In the present embodiment, regions such as a character attribute portion and a natural image attribute portion are separated by a rectangular region. On the other hand, when the area drawn by the drawing command is other than a rectangle, for example, the area separation is performed by approximating the outline of the drawn drawing area that is not a rectangle.
以上のように本実施形態によれば、描画フレームワーク110からキャプチャする際に、描画コマンドを用いて複製するようにした。これにより、フレームバッファに格納されたイメージデータをそのまま複製するよりは、複製する時間分フレームバッファの上書きをロックする時間を取らなくて済む。このため、処理遅延を少なくすることができる。
As described above, according to the present embodiment, when capturing from the
(第2の実施形態)
以下、本発明における第2の実施形態について、図面を参照しながら詳細に説明する。
図6は、本実施形態における画面共有サーバ装置6の構成例を示すブロック図である。本実施形態の画面共有サーバ装置1は、サーバラック等に入るブレードサーバ形式であることを想定している。第1の実施形態に係る画面共有サーバ装置1と異なる点は、ディスプレイ装置4と接続するインタフェースと、映像データ部160とを設けていない。また、図1の転送用バッファ170の代わりに、グラフィック及び映像デコード処理をネットワーク向けに行うネットワークビデオ処理部175を設けている。ネットワークビデオ処理部175はグラフィックRAMを装備しており、実装形態は、専用PCI-Expressカード、グラフィックプロセッサチップ、メインの汎用MPUとマルチコア実装されたグラフィックコア等がある。さらに、図1のリモート画面制御部180の代わりに、リモート操作側でシンクライアント端末2のデバイスを含めた各種管理を行うリモート端末制御部185を設けている。これ以外の構成については、図1の画面共有サーバ装置1と同様であるため、詳細説明を省略する。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 6 is a block diagram illustrating a configuration example of the screen
また、本実施形態に係る画面共有サーバ装置6の動作シーケンスについては、図2と同様であるため説明は省略する。さらに、本実施形態に係る画面共有サーバ装置6によるログインからログアウトまでの処理手順についても図3と同様であるため、説明は省略する。なお、図3の処理において、リモート画面制御部180が行う処理は、本実施形態ではリモート端末制御部185が行う。
The operation sequence of the screen
図7は、本実施形態において、図3のステップS303における画面転送前処理の詳細な手順の一例を示すフローチャートである。なお、ステップS701〜S703については、図4のステップS401〜S403と同様の処理をリモート端末制御部185が行うものであるため、説明は省略する。 FIG. 7 is a flowchart illustrating an example of a detailed procedure of the screen transfer pre-processing in step S303 of FIG. 3 in the present embodiment. Steps S701 to S703 are the same as steps S401 to S403 in FIG.
そして、キャプチャ制御部130は、描画フレームワーク110に対して、ステップS702で割り出したキャプチャレート及び画角でフレームイメージデータをネットワークビデオ処理部175へ書き込みを開始するように指示する(ステップS704)。以上の処理により画面転送前処理を終了する。
Then, the
図8は、本実施形態において、図3のステップS304における画面転送本処理の詳細な手順の一例を示すフローチャートである。
まず、キャプチャ制御部130は、描画コマンド記憶部120に対し、描画フレームワーク110においてネットワークビデオ処理部175に対して実行される描画コマンドを一時的に記憶するように指示する(ステップS801)。なお、描画コマンドについては、第1の実施形態と同様であり、描画コマンド記憶部120から描画コマンドが削除されるタイミングも、同様である。
FIG. 8 is a flowchart illustrating an example of a detailed procedure of the screen transfer main process in step S304 of FIG. 3 in the present embodiment.
First, the
シンクライアント端末2でログイン確認M002を受信すると、シンクライアント端末2からリモートコントロールイベントM003が送信される。このリモートコントロールイベントM003により、画面共有サーバ装置1ではアプリケーションソフトウェアが動作する。そして、リモート端末制御部185は、映像再生部150に対し、例えばネットワーク等を介して外部から映像データを取得して再生するよう指示する。この場合、映像再生部150により、ネットワーク等を介して外部から指定の映像データを取得し、映像再生に関する描画コマンドを描画フレームワーク110により実行する。
When the
これにより、キャプチャ制御部130は、アプリケーションの動作を検知し、映像再生に関する描画コマンド等の領域分離に関係するコマンドが描画コマンド記憶部120に記憶されたかどうかを判断する(ステップS802)。
Thereby, the
この判断の結果、描画コマンド記憶部120に映像再生に関する描画コマンド等の領域分離に関係するコマンドが記憶されていない場合は、通常転送処理を実施する。通常転送処理では、ネットワークビデオ処理部175に描画されたフレームイメージデータを、リモート端末制御部185によりネットワーク3の帯域等の状況に合わせて符号化パラメータの調整等の画像符号化前処理を行う(ステップS803)。そして、ネットワークビデオ処理部175に描画されたフレームイメージデータに対して、前記調整した符号化パラメータを用いて単一の符号化処理を行い、通信部190及びネットワーク3を経由してシンクライアント端末2に送信する(ステップS804)。
As a result of this determination, when a command related to area separation such as a drawing command related to video reproduction is not stored in the drawing
一方、ステップS802の判断の結果、描画コマンド記憶部120に映像再生に関する描画コマンド等の領域分離に関係するコマンドが記憶された場合は、以下の処理を実行する。まず、ネットワークビデオ処理部175にフレームイメージデータが描画される際に、リモート端末制御部185は、フレームイメージデータをネットワーク3の帯域等の状況に合わせて符号化パラメータの調整等の画像符号化前処理を行う(ステップS805)。
On the other hand, as a result of the determination in step S802, if a command related to area separation such as a drawing command related to video reproduction is stored in the drawing
また、描画コマンド記憶部120に一時記憶された映像再生に関する描画コマンド等の領域分離に関係するコマンドを詳細に解析する。そして、解析結果によりネットワークビデオ処理部175に描画されたフレームイメージデータに対して、文字属性部分、自然画属性部分等の複数の領域における分離処理及び属性判定を行う(ステップS806)。次に、各領域の属性に適切な符号化方式を当てはめて、ステップS805で調整した符号化パラメータを用いて、各領域の符号化処理を行う(ステップS807)。そして、リモート端末制御部185により、その対象となる領域のイメージデータを通信部190及びネットワーク3を経由してシンクライアント端末2に送信する(ステップS808)。なお、領域の分離処理及び符号化処理については、第1の実施形態と同様である。
In addition, a command related to region separation such as a drawing command related to video reproduction temporarily stored in the drawing
以上のように本実施形態によれば、画面共有サーバ装置側でディスプレイを接続することなくシンクライアント端末向けだけにイメージデータを描画ことができる。これにより、より簡単で高速になり、ネットワークに特化した各種処理を行うための時間を設けることができる。 As described above, according to the present embodiment, image data can be drawn only for a thin client terminal without connecting a display on the screen sharing server device side. Thereby, it becomes easier and faster, and it is possible to provide time for performing various processes specialized for the network.
(第3の実施形態)
図9は、本実施形態における画面共有システムの構成例を示すブロック図である。
第1の実施形態と異なる点は、本実施形態の画面共有サーバ装置9は、描画フレームワーク110にフレームイメージを複製する機能が搭載されていないが、代わりにキャプチャ部200を設けている。このように、描画フレームワーク110にフレームイメージデータを複製する機能がないため、ビデオ処理部210がフレームバッファ140からフレームイメージを読み出す。そして、このタイミングで、キャプチャ部200がフレームイメージデータを転送用バッファ170に複製するようにしている。これにより、第1の実施形態と同様の処理を行うことができる。
(Third embodiment)
FIG. 9 is a block diagram illustrating a configuration example of the screen sharing system according to the present embodiment.
The difference from the first embodiment is that the screen
また、図9に示すように、第1の実施形態における転送用バッファ170、リモート画面制御部180及び通信部190が、画面共有サーバ装置9の外部のモジュール(ハードウェアモジュールもしくはカード)として実装されている。このような場合においても、第1の実施形態と同様の処理を行うことができる。また、第2の実施形態の構成においても同様である。
Further, as shown in FIG. 9, the
(その他の実施形態)
前述した実施形態において、領域分割した各領域に適切な符号化方式としては、JPEGのパラメータを変更しただけのものから、符号化方法そのものを各領域の属性に特化した方式を用いるようにしてもよい。符号化方法そのものとしては、JPEG、LZH、ZLIB、JPEG2000、PNG、GIF、WMF、AVCイントラ(H.264/AVC Intra)等があげられる。
(Other embodiments)
In the above-described embodiment, as an encoding method suitable for each divided region, a method specialized in the attribute of each region is used as the encoding method itself, from the one in which the JPEG parameter is changed. Also good. Examples of the encoding method itself include JPEG, LZH, ZLIB, JPEG2000, PNG, GIF, WMF, AVC Intra (H.264 / AVC Intra), and the like.
また、前述の実施形態において、描画コマンドは、GDIコマンドや、Microsoft Windows(登録商標)でのDirectXもしくはDirectShowレベルのコマンドであってもよい。また、Khronos Group策定のOpenMAX-il等やOpenGLのコマンドであってもよい。 In the above-described embodiment, the drawing command may be a GDI command or a DirectX or DirectShow level command in Microsoft Windows (registered trademark). Also, OpenMAX-il, etc. developed by Khronos Group, or OpenGL commands may be used.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
110 描画フレームワーク、120 描画コマンド記憶部、140 フレームバッファ、180 リモート画面制御部 110 drawing framework, 120 drawing command storage unit, 140 frame buffer, 180 remote screen control unit
Claims (10)
前記再生した映像データから、アプリケーションにより発行される描画コマンドを用いて画面データを描画する描画手段と、
前記描画手段で用いた描画コマンドを記憶する描画コマンド記憶手段と、
前記描画手段によって描画された画面データを記憶する画面データ記憶手段と、
前記描画コマンド記憶手段に記憶された描画コマンドを解析して、前記画面データ記憶手段に記憶された画面データを複数の領域に分離する領域分離手段と、
前記描画コマンド記憶手段に記憶された描画コマンドを解析して、前記領域分離手段によって分離された各々の領域の属性を判定する属性判定手段と、
前記領域分離手段によって分離された領域に対して、前記属性判定手段によって判定された属性に応じた符号化を行う符号化手段と、
前記符号化手段によって符号化された領域に係る画面データを前記クライアント端末に送信する送信手段とを有することを特徴とする画像処理装置。 An image processing apparatus that is connected to a client terminal that receives screen data via a network, reproduces video data, and generates the screen data.
Drawing means for drawing screen data from the reproduced video data using a drawing command issued by an application;
Drawing command storage means for storing drawing commands used in the drawing means;
Screen data storage means for storing screen data drawn by the drawing means;
An area separating unit that analyzes the drawing command stored in the drawing command storage unit and separates the screen data stored in the screen data storage unit into a plurality of regions;
An attribute determination unit that analyzes the drawing command stored in the drawing command storage unit and determines an attribute of each region separated by the region separation unit;
Encoding means for performing encoding according to the attribute determined by the attribute determination means for the area separated by the area separation means;
An image processing apparatus comprising: a transmission unit configured to transmit screen data relating to an area encoded by the encoding unit to the client terminal.
前記受信手段によって受信された前記クライアント端末の機器情報に基づいて、前記クライアント端末の仕様に応じた画面のパラメータを決定する決定手段とをさらに有し、
前記描画手段は、前記決定手段によって決定されたパラメータに応じて画面データを描画することを特徴とする請求項1に記載の画像処理装置。 Receiving means for receiving device information from the client terminal;
Determining means for determining screen parameters according to the specifications of the client terminal based on the device information of the client terminal received by the receiving means;
The image processing apparatus according to claim 1, wherein the drawing unit draws screen data according to the parameter determined by the determination unit.
前記再生した映像データから、アプリケーションにより発行される描画コマンドを用いて画面データを描画する描画工程と、
前記描画工程において用いた描画コマンドを記憶手段に記憶する描画コマンド記憶工程と、
前記描画工程において描画された画面データを記憶手段に記憶する画面データ記憶工程と、
前記描画コマンド記憶工程において記憶された描画コマンドを解析して、前記画面データ記憶工程において記憶された画面データを複数の領域に分離する領域分離工程と、
前記描画コマンド記憶工程において記憶された描画コマンドを解析して、前記領域分離工程において分離された各々の領域の属性を判定する属性判定工程と、
前記領域分離工程において分離された領域に対して、前記属性判定工程において判定された属性に応じた符号化を行う符号化工程と、
前記符号化工程において符号化された領域に係る画面データを前記クライアント端末に送信する送信工程とを有することを特徴とする画像処理方法。 An image processing method in an image processing apparatus that is connected to a client terminal that receives screen data via a network and reproduces video data to generate the screen data,
A drawing step of drawing screen data from the reproduced video data using a drawing command issued by an application;
A drawing command storage step of storing the drawing command used in the drawing step in a storage means;
A screen data storage step of storing the screen data drawn in the drawing step in a storage means;
A region separation step of analyzing the drawing command stored in the drawing command storage step and separating the screen data stored in the screen data storage step into a plurality of regions;
An attribute determination step of analyzing the drawing command stored in the drawing command storage step and determining an attribute of each region separated in the region separation step;
An encoding step for performing encoding according to the attribute determined in the attribute determination step for the region separated in the region separation step;
An image processing method comprising: a transmission step of transmitting screen data related to the region encoded in the encoding step to the client terminal.
前記再生した映像データから、アプリケーションにより発行される描画コマンドを用いて画面データを描画する描画工程と、
前記描画工程において用いた描画コマンドを記憶手段に記憶する描画コマンド記憶工程と、
前記描画工程において描画された画面データを記憶手段に記憶する画面データ記憶工程と、
前記描画コマンド記憶工程において記憶された描画コマンドを解析して、前記画面データ記憶工程において記憶された画面データを複数の領域に分離する領域分離工程と、
前記描画コマンド記憶工程において記憶された描画コマンドを解析して、前記領域分離工程において分離された各々の領域の属性を判定する属性判定工程と、
前記領域分離工程において分離された領域に対して、前記属性判定工程において判定された属性に応じた符号化を行う符号化工程と、
前記符号化工程において符号化された領域に係る画面データを前記クライアント端末に送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。 A program for controlling an image processing apparatus that is connected to a client terminal that receives screen data via a network, reproduces video data, and generates the screen data.
A drawing step of drawing screen data from the reproduced video data using a drawing command issued by an application;
A drawing command storage step of storing the drawing command used in the drawing step in a storage means;
A screen data storage step of storing the screen data drawn in the drawing step in a storage means;
A region separation step of analyzing the drawing command stored in the drawing command storage step and separating the screen data stored in the screen data storage step into a plurality of regions;
An attribute determination step of analyzing the drawing command stored in the drawing command storage step and determining an attribute of each region separated in the region separation step;
An encoding step for performing encoding according to the attribute determined in the attribute determination step for the region separated in the region separation step;
A program causing a computer to execute a transmission step of transmitting screen data relating to an area encoded in the encoding step to the client terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298784A JP5455619B2 (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298784A JP5455619B2 (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011139361A true JP2011139361A (en) | 2011-07-14 |
JP5455619B2 JP5455619B2 (en) | 2014-03-26 |
Family
ID=44350323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298784A Expired - Fee Related JP5455619B2 (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5455619B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5384713B1 (en) * | 2012-10-29 | 2014-01-08 | 株式会社藤商事 | Game machine |
JP5384712B1 (en) * | 2012-10-29 | 2014-01-08 | 株式会社藤商事 | Game machine |
KR101415186B1 (en) * | 2012-10-17 | 2014-07-04 | 주식회사 넥서스칩스 | Apparatus and method for sharing graphic image between terminals by transmitting graphic data |
KR101556381B1 (en) * | 2014-02-26 | 2015-09-30 | 주식회사 틸론 | Method for transferring screen frames of a terminal server and terminal server using the same |
-
2009
- 2009-12-28 JP JP2009298784A patent/JP5455619B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101415186B1 (en) * | 2012-10-17 | 2014-07-04 | 주식회사 넥서스칩스 | Apparatus and method for sharing graphic image between terminals by transmitting graphic data |
JP5384713B1 (en) * | 2012-10-29 | 2014-01-08 | 株式会社藤商事 | Game machine |
JP5384712B1 (en) * | 2012-10-29 | 2014-01-08 | 株式会社藤商事 | Game machine |
JP2014087402A (en) * | 2012-10-29 | 2014-05-15 | Fujishoji Co Ltd | Game machine |
JP2014087401A (en) * | 2012-10-29 | 2014-05-15 | Fujishoji Co Ltd | Game machine |
KR101556381B1 (en) * | 2014-02-26 | 2015-09-30 | 주식회사 틸론 | Method for transferring screen frames of a terminal server and terminal server using the same |
Also Published As
Publication number | Publication date |
---|---|
JP5455619B2 (en) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6460228B2 (en) | Information processing apparatus, information processing method, and information processing program | |
JP4926601B2 (en) | Video distribution system, client terminal and control method thereof | |
US20240007516A1 (en) | Ultra-low latency remote application access | |
WO2013134936A1 (en) | Screen recording method, and screen recording control method and device | |
JP5455619B2 (en) | Image processing apparatus, image processing method, and program | |
EP3192251B1 (en) | Image processing apparatus and image processing method | |
WO2011077550A1 (en) | Screen relay device | |
US9596435B2 (en) | Distribution control apparatus, distribution control method, and computer program product | |
CN105144700A (en) | Image processing apparatus and image processing method | |
CN106412588B (en) | Image frame processing method | |
RU2655662C1 (en) | Image processing apparatus and image processing method | |
JP2011166213A (en) | Image processing apparatus | |
CN114938408B (en) | Data transmission method, system, equipment and medium of cloud mobile phone | |
JP6157220B2 (en) | Output device and method | |
WO2018003685A1 (en) | Image compressing method, image reconstructing method, image compressing device, image reconstructing device, image compressing program product, and image reconstructing program product | |
US7230729B1 (en) | Printer pipeline bypass in hardware-ready format | |
JP2007215001A (en) | Unit, system, and method for processing image | |
JP2009060251A (en) | Information processing apparatus, and remote diagnosing system | |
JP5701964B2 (en) | Screen relay device | |
JP2001128194A (en) | Stereoscopic video processor, method for processing stereoscopic video and storing medium | |
JPH0488749A (en) | Picture processor | |
JP4697933B2 (en) | Image processing apparatus, image input / output apparatus and methods thereof | |
JP5935428B2 (en) | Reading control apparatus, reading system, and program | |
JP2009200627A (en) | Imaging apparatus and imaging method | |
JP6245818B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5455619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |