JP2012138851A - Image transmission device and method, and image receiving device and method - Google Patents
Image transmission device and method, and image receiving device and method Download PDFInfo
- Publication number
- JP2012138851A JP2012138851A JP2010291250A JP2010291250A JP2012138851A JP 2012138851 A JP2012138851 A JP 2012138851A JP 2010291250 A JP2010291250 A JP 2010291250A JP 2010291250 A JP2010291250 A JP 2010291250A JP 2012138851 A JP2012138851 A JP 2012138851A
- Authority
- JP
- Japan
- Prior art keywords
- image
- compressed data
- transmission
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明の実施形態は、画像送信装置および方法、画像受信装置および方法に関する。 Embodiments described herein relate generally to an image transmission apparatus and method, and an image reception apparatus and method.
階層符号化やＪＰＥＧ２０００、プログレッシブＪＰＥＧ等の追加データを受信すれば画質が向上する符号化方式を用いて、送信遅延を低減しかつ高画質な画像を送信する画像送信装置がある。例えば、時系列に入力されるフレームの圧縮データを順次送信する際、次のフレームを送信すべきタイミングに、現在送信中のフレームが未だ送信中であっても、当該送信中のフレームが所定の画質を満たしていれば送信を中止して次のフレームの送信を開始し、所定の画質を満たしていない場合は送信を継続する。 There is an image transmission apparatus that transmits high-quality images with reduced transmission delay by using an encoding method that improves image quality when additional data such as hierarchical encoding, JPEG2000, or progressive JPEG is received. For example, when sequentially transmitting compressed data of frames input in time series, even if a frame currently being transmitted is still being transmitted at the timing at which the next frame should be transmitted, If the image quality is satisfied, the transmission is stopped and transmission of the next frame is started. If the predetermined image quality is not satisfied, the transmission is continued.
このような画像送信装置では、送信遅延を低減しつつ、より高画質な画像を送信することができるものが望まれている。 In such an image transmission apparatus, an apparatus capable of transmitting a higher quality image while reducing transmission delay is desired.
発明が解決しようとする課題は、送信遅延を低減しつつ、より高画質な画像を送信することができる画像送信装置および方法、画像受信装置および方法を提供することである。 The problem to be solved by the invention is to provide an image transmitting apparatus and method, and an image receiving apparatus and method capable of transmitting a higher quality image while reducing transmission delay.
上記課題を解決するために、本発明の一の実施形態に係る画像送信装置は、圧縮した動画像を受信側に送信する画像送信装置であって、圧縮部と、判定部と、送信部とを備える。 In order to solve the above-described problem, an image transmission apparatus according to an embodiment of the present invention is an image transmission apparatus that transmits a compressed moving image to a reception side, and includes a compression unit, a determination unit, a transmission unit, Is provided.
圧縮部は、入力された画像を可逆圧縮して、前記画像の圧縮データを得る。送信部は、前記圧縮データを、複数に分割したデータパケットとして、上位ビット側から順次送信する。判定部は、受信側で前記画像の表示が一定時間以上停止するか否かを判定する。前記判定部が、受信側で前記画像の表示が一定時間以上停止すると判定した場合、前記送信部は、送信中の前記圧縮データの送信を継続する。 The compression unit reversibly compresses the input image to obtain compressed data of the image. The transmission unit sequentially transmits the compressed data as a data packet divided into a plurality from the upper bit side. The determination unit determines whether or not the display of the image is stopped for a predetermined time or more on the receiving side. When the determination unit determines that the display of the image is stopped for a predetermined time or longer on the reception side, the transmission unit continues to transmit the compressed data being transmitted.
また、本発明の他の実施形態に係る画像受信装置は、動画像を送信側から受信する画像受信装置であって、受信部と、伸長部と、コマンド送信部とを備える。 An image receiving apparatus according to another embodiment of the present invention is an image receiving apparatus that receives a moving image from the transmitting side, and includes a receiving unit, an expanding unit, and a command transmitting unit.
受信部は、前記動画像の各フレームの圧縮データの一部を先頭から順次を受信する。伸張部は、プログレッシブモードか否かを表す再生モードに基づいて、任意のタイミングで受信済みの１フレームの圧縮データの一部を伸張するか、前記圧縮データの全てを受信してから伸張するかを選択し、受信済みの前記圧縮データを伸張する。コマンド送信部は、送信側に再生状態か一時停止状態かを示す再生コマンドを送信する。前記伝送コマンド送信部が一時停止状態の前記再生コマンドを送信した場合、前記受信部は、受信中の前記圧縮データを全て受信するまでは前記圧縮データの受信を継続し、前記伸張部は、受信した前記圧縮データの伸張を継続する。 The receiving unit sequentially receives a part of the compressed data of each frame of the moving image from the top. Whether the expansion unit expands a part of one frame of compressed data received at an arbitrary timing based on a playback mode indicating whether or not the progressive mode is received, or expands after receiving all the compressed data And decompress the received compressed data. The command transmission unit transmits a reproduction command indicating whether the reproduction state or the pause state to the transmission side. When the transmission command transmission unit transmits the playback command in a paused state, the reception unit continues to receive the compressed data until all the compressed data being received is received, and the decompression unit receives The decompression of the compressed data is continued.
（第１の実施の形態）
第１の実施の形態に係る画像送信装置１は、動画像を非可逆圧縮したデータで受信側の装置（画像受信装置）に送信するものである。画像送信装置１は、例えば、シンクライアントシステム等に用いることができる。
(First embodiment)
The image transmission device 1 according to the first embodiment transmits data that has been irreversibly compressed from a moving image to a reception-side device (image reception device). The image transmission device 1 can be used in, for example, a thin client system.
画像送信装置１は、入力画像として動画像の各フレームを受け取って、例えば可逆圧縮する。この可逆圧縮したデータの下位ビット側を任意の位置で切り捨てることにより、非可逆圧縮のデータを生成する。このような非可逆圧縮のデータを生成可能な圧縮方式を、以下、特定圧縮方式と呼ぶ。画像送信装置１は、特定圧縮方式で得た圧縮データを上位ビット側から順に任意のデータサイズで受信側に送信する。 The image transmission device 1 receives each frame of a moving image as an input image and performs, for example, lossless compression. Lossless compression data is generated by truncating the lower bit side of the lossless compressed data at an arbitrary position. Such a compression method capable of generating lossy compression data is hereinafter referred to as a specific compression method. The image transmitting apparatus 1 transmits the compressed data obtained by the specific compression method to the receiving side in an arbitrary data size in order from the higher bit side.
画像受信装置において動画像が再生状態の場合、画像送信装置１はフレームレートに応じたデータサイズの圧縮データを受信側に順次送信する。画像受信装置において動画像が一時停止された場合には、画像送信装置１が一時停止された際の画像の圧縮データの送信を継続する。 When the moving image is in a playback state in the image receiving apparatus, the image transmitting apparatus 1 sequentially transmits compressed data having a data size corresponding to the frame rate to the receiving side. When the moving image is temporarily stopped in the image receiving device, the transmission of the compressed data of the image when the image transmitting device 1 is temporarily stopped is continued.
これにより、画像送信装置１は、送信遅延を低減しつつ、より高画質な画像を送信することができる。 Thereby, the image transmission device 1 can transmit a higher quality image while reducing transmission delay.
図１は、画像送信装置１を表すブロック図である。画像送信装置１は、入力部１０と、圧縮部１１と、送信部１２と、コマンド受信部１３と、判定部１４とを備える。送信部１２は、データバッファ１２１と、データ送信部１２２とを含む。 FIG. 1 is a block diagram illustrating the image transmission device 1. The image transmission device 1 includes an input unit 10, a compression unit 11, a transmission unit 12, a command reception unit 13, and a determination unit 14. The transmission unit 12 includes a data buffer 121 and a data transmission unit 122.
入力部１０は、圧縮対象となる入力画像１００を入力する。 The input unit 10 inputs an input image 100 to be compressed.
圧縮部１１は、特定圧縮方式を用いて、動画像として順次入力される入力画像１００を圧縮する。特定圧縮方式には、例えばＪＰＥＧ２０００等がある。 The compression unit 11 compresses the input images 100 sequentially input as moving images using a specific compression method. Examples of the specific compression method include JPEG2000.
データバッファ１２１は、複数のフレーム（（Ｎ＋１）フレーム）の圧縮データのストリーム（圧縮データストリーム５０）を格納する。圧縮データストリーム５０は、圧縮データ１０１を含む。 The data buffer 121 stores a stream of compressed data (compressed data stream 50) of a plurality of frames ((N + 1) frames). The compressed data stream 50 includes compressed data 101.
データバッファ１２１は、例えば図２に示すような構造であり、（Ｎ＋１）フレームの圧縮データストリーム５０を格納可能であってよい。画像送信装置１が起動されると、データバッファ１２１は（Ｎ＋１）の圧縮データストリーム５０のバッファを準備する。圧縮部１１は、圧縮データストリーム５０を格納するインデックスを示す「stored_Idx」を保持するレジスタ（不図示）を初期化する。圧縮部１１は、現在格納されている圧縮データストリーム５０の数を示す「stored_Num」を保持するレジスタ（不図示）を初期化する。図２では、stored_Idx=３、stored_Num=３の例を示している。 The data buffer 121 has a structure as shown in FIG. 2, for example, and may be capable of storing a compressed data stream 50 of (N + 1) frames. When the image transmission apparatus 1 is activated, the data buffer 121 prepares a buffer for the (N + 1) compressed data stream 50. The compression unit 11 initializes a register (not shown) that holds “stored_Idx” indicating an index for storing the compressed data stream 50. The compression unit 11 initializes a register (not shown) that holds “stored_Num” indicating the number of compressed data streams 50 currently stored. FIG. 2 shows an example of stored_Idx = 3 and stored_Num = 3.
データ送信部１２２は、データバッファ１２１に格納された圧縮データストリーム５０の一部を、圧縮データパケット１０２にパケット化して受信側に送信する。本実施形態では、伝送プロトコルとしてＴＣＰ／ＩＰを用いるが、別の伝送プロトコルを用いて送信してよい。圧縮データパケット１０２については後述する。 The data transmission unit 122 packetizes a part of the compressed data stream 50 stored in the data buffer 121 into a compressed data packet 102 and transmits it to the receiving side. In this embodiment, TCP / IP is used as the transmission protocol, but transmission may be performed using another transmission protocol. The compressed data packet 102 will be described later.
コマンド受信部１３は、受信側からの要求（送信要求）や受信側での機器操作を示すコマンド１０３を受信する。コマンド１０３には、例えば、セッション開始コマンド、セッション終了コマンド、伝送モード、受信したい動画像のフレームレート、画質、再生コマンド（一時停止／再生開始）等がある。 The command receiving unit 13 receives a request (transmission request) from the receiving side and a command 103 indicating a device operation on the receiving side. Examples of the command 103 include a session start command, a session end command, a transmission mode, a frame rate of a moving image to be received, image quality, a playback command (pause / playback start), and the like.
ここで、伝送モードは、圧縮データを全て送信する「ロスレスモード」、及び、圧縮データの下位ビット側を切り捨てた非可逆圧縮データを送信する「ロッシーモード」の２つのモードを含む。受信側は伝送モードを、任意のタイミングでコマンド１０３として入力することにより、ロスレスモードとロッシーモードとを切り換えることが可能であってよい。 Here, the transmission mode includes two modes, a “lossless mode” in which all compressed data is transmitted and a “lossy mode” in which irreversible compressed data in which the lower bits of the compressed data are truncated is transmitted. The receiving side may be able to switch between the lossless mode and the lossy mode by inputting the transmission mode as the command 103 at an arbitrary timing.
なお、伝送モードでロッシーモードが指定された場合には、受信側はさらに伝送画質を示す情報をコマンド１０３で送信してもよい。伝送画質を示す情報とは、例えば、圧縮データがビットプレーンで圧縮されている場合に、ＭＳＢ側から何ビット目までは切り捨てない等の情報や、入力画像１００とのＰＳＮＲ（Peak Signal to Noise Ratio）を指定する情報等、送信する画像の画質を示す情報であればどのような情報でもよい。 When the lossy mode is designated as the transmission mode, the receiving side may further transmit information indicating the transmission image quality using the command 103. The information indicating the transmission image quality is, for example, information such as how many bits from the MSB side are not discarded when the compressed data is compressed by a bit plane, or a PSNR (Peak Signal to Noise Ratio) with the input image 100. Any information may be used as long as the information indicates the image quality of the image to be transmitted.
再生コマンドとは、受信側で受信した画像の再生開始や一時停止を指示するコマンドである。なお、画像送信装置１の状態は、起動されたときには初期状態（ＩＮＩＴ）となっており、セッションを開始するコマンド（セッション開始コマンド）をコマンド受信部１３が受信すると、圧縮に必要な初期化を行った後、再生待ち状態（ＲＥＡＤＹ）となる。 The playback command is a command for instructing to start or pause playback of an image received on the receiving side. The state of the image transmission device 1 is in an initial state (INIT) when activated, and when the command receiving unit 13 receives a command for starting a session (session start command), initialization necessary for compression is performed. After performing, it will be in a reproduction waiting state (READY).
再生開始コマンドをコマンド受信部１３が受信すると、圧縮部１１は入力画像１００の入力を開始し、画像送信装置１は再生状態（ＰＬＡＹ）となる。一時停止コマンドをコマンド受信部１３が受信すると、圧縮部１１は入力画像１００の入力を一時停止し、画像送信装置１は一時停止状態（ＰＡＵＳＥ）となる。 When the command reception unit 13 receives the reproduction start command, the compression unit 11 starts input of the input image 100, and the image transmission device 1 enters the reproduction state (PLAY). When the command reception unit 13 receives the pause command, the compression unit 11 pauses the input of the input image 100, and the image transmission apparatus 1 enters a pause state (PAUSE).
セッションを終了するコマンド（セッション終了コマンド）をコマンド受信部１３が受信すると、圧縮部１１は圧縮を中止する。データ送信部１２２は送信を中止し、データバッファ１２１に残っているデータを破棄する。そして、画像送信装置１の状態は再び初期状態（ＩＮＩＴ）に戻る。 When the command receiving unit 13 receives a command for ending the session (session end command), the compression unit 11 stops the compression. The data transmission unit 122 stops transmission and discards data remaining in the data buffer 121. Then, the state of the image transmission device 1 returns to the initial state (INIT) again.
判定部１４は、受信側で表示される動画像が、一定時間以上停止するか否かを判定する。本実施形態において、判定部１４は、再生コマンドに基づき、データ送信部１２２が現在送信中の画像の圧縮データパケット１０２の送信を継続するか否かを判定する。 The determination unit 14 determines whether or not the moving image displayed on the receiving side is stopped for a predetermined time or more. In the present embodiment, the determination unit 14 determines whether or not the data transmission unit 122 continues to transmit the compressed data packet 102 of the image currently being transmitted based on the reproduction command.
判定部１４による判定がＮＯ（偽）の場合（すなわち、再生状態の場合）、データ送信部１２２は、データバッファ１２１に格納されている圧縮データストリーム５０の一部を先頭から順次読み出し、圧縮データパケット１０２として送信する。判定部１４による判定がＹＥＳ（真）の場合（すなわち、一時停止の場合）、データ送信部１２２は、送信中の画像の各圧縮データパケット１０２の送信を継続する。 入力部１０と、圧縮部１１と、送信部１２と、コマンド受信部１３と、判定部１４とは、中央演算処理装置（ＣＰＵ）及びＣＰＵが用いるメモリにより実現されてよい。また、グラフィックスプロセッシングユニット（ＧＰＵ）を用いてもよい。 When the determination by the determination unit 14 is NO (false) (that is, in the reproduction state), the data transmission unit 122 sequentially reads a part of the compressed data stream 50 stored in the data buffer 121 from the head, and compresses the compressed data. Transmit as packet 102. When the determination by the determination unit 14 is YES (true) (that is, in the case of temporary stop), the data transmission unit 122 continues transmission of each compressed data packet 102 of the image being transmitted. The input unit 10, the compression unit 11, the transmission unit 12, the command reception unit 13, and the determination unit 14 may be realized by a central processing unit (CPU) and a memory used by the CPU. A graphics processing unit (GPU) may also be used.
以上、画像送信装置１の構成について説明した。 The configuration of the image transmission device 1 has been described above.
ここで、圧縮データパケット１０２について説明する。図３は圧縮データパケット１０２の説明図である。圧縮データストリーム５０において、圧縮データ１０１の先頭には、圧縮データ１０１を識別するためのtime_stampと、基本レイヤのデータサイズを示すmin_sizeとが付加されている。ここで、基本レイヤとは、圧縮データのうち、例えば圧縮データを伸張するために必ず必要なデータを含むデータであり、切り捨てると伸張が不可能となる切捨て不可能なデータである。 Here, the compressed data packet 102 will be described. FIG. 3 is an explanatory diagram of the compressed data packet 102. In the compressed data stream 50, time_stamp for identifying the compressed data 101 and min_size indicating the data size of the base layer are added to the head of the compressed data 101. Here, the basic layer is data including, for example, data that is necessary for decompressing compressed data, among compressed data, and is data that cannot be decompressed when truncation is impossible.
圧縮データパケット１０２とは、圧縮データストリーム５０を任意のデータサイズでパケット化されたものである。圧縮データパケット１０２の先頭には、パケットヘッダが付加されている。 The compressed data packet 102 is obtained by packetizing the compressed data stream 50 with an arbitrary data size. A packet header is added to the head of the compressed data packet 102.
パケットヘッダは、圧縮データパケット１０２のサイズを示すパケットサイズと、付加された圧縮データパケット１０２がフレームの先頭であるか否かを示すフレーム先頭情報と、付加された圧縮データパケット１０２がフレームの終端であるか否かを示すフレーム終了情報とを含む。 The packet header includes a packet size indicating the size of the compressed data packet 102, frame head information indicating whether or not the added compressed data packet 102 is the head of the frame, and the added compressed data packet 102 is the end of the frame. Frame end information indicating whether or not.
フレーム終了情報は、付加された圧縮データパケット１０２がフレームの終端であるか（ＴＲＵＥ）否か（ＦＡＬＳＥ）のフラグであるエンドフラグ（end_flag）と、圧縮データパケットが圧縮データの終端を含むか否かを示すロスレスフラグとを含む。 The frame end information includes an end flag (end_flag) that is a flag indicating whether the added compressed data packet 102 is the end of the frame (TRUE) or not (FALSE), and whether the compressed data packet includes the end of the compressed data. Including a lossless flag.
以上、圧縮データパケット１０２について説明した。 The compressed data packet 102 has been described above.
図４は、圧縮部１１の処理を表すフローチャートである。 FIG. 4 is a flowchart showing the processing of the compression unit 11.
図４のフローチャートは、入力部１０が圧縮対象となる入力画像１００を入力し、圧縮部１１に供給した状態からスタートする。なお、入力画像１００は、受信側から指定されるか、又は予め設定されたフレームレートで入力される。 The flowchart of FIG. 4 starts from a state in which the input unit 10 inputs the input image 100 to be compressed and supplies the input image 100 to the compression unit 11. Note that the input image 100 is designated from the receiving side or input at a preset frame rate.
圧縮部１１は、データバッファ１２１に空きがあるか否かを判定する（Ｓ３０１）。これは、stored_Numの値がＮより小さいか否かで判定することができる。すなわち、stored_Num＞Ｎの場合はデータバッファ１２１に空きがないと判定し、stored_Num≦Ｎの場合はデータバッファ１２１に空きがあると判定してよい。 The compression unit 11 determines whether or not the data buffer 121 is empty (S301). This can be determined by whether the value of stored_Num is smaller than N or not. That is, when stored_Num> N, it may be determined that the data buffer 121 is not empty, and when stored_Num ≦ N, it may be determined that the data buffer 121 is empty.
ステップＳ３０１における判定がＮＯの場合、圧縮部１１は入力画像１００を破棄し（Ｓ３０２）、処理を終了する。 When the determination in step S301 is NO, the compression unit 11 discards the input image 100 (S302) and ends the process.
ステップＳ３０１における判定がＹＥＳの場合、圧縮部１１は、入力画像１００を特定圧縮方式により圧縮し、圧縮データ１０１を生成する（Ｓ３０３）。圧縮部１１は、圧縮データ１０１をデータバッファ１２１のstored_Idx番目に格納する（Ｓ３０４）。なお、図３では、stored_Idx番目のバッファアドレスをbuf[stored_Idx]と表記している。圧縮部１１は、stored_Idxを更新し（Ｓ３０５）、処理を終了する。例えば、stored_Idx＜Ｎの場合、圧縮部１１は、stored_Idxに１加算し、stored_IdxがＮの場合、stored_Idxを０とする。そして、またstored_Numの値を１インクリメントする。 When the determination in step S301 is YES, the compression unit 11 compresses the input image 100 using a specific compression method, and generates compressed data 101 (S303). The compression unit 11 stores the compressed data 101 in the stored_Idxth of the data buffer 121 (S304). In FIG. 3, the stored_Idx-th buffer address is denoted as buf [stored_Idx]. The compression unit 11 updates stored_Idx (S305) and ends the process. For example, when stored_Idx <N, the compression unit 11 adds 1 to stored_Idx, and when stored_Idx is N, stored_Idx is set to 0. Then, the stored_Num value is incremented by one.
圧縮部１１の処理について説明した。 The processing of the compression unit 11 has been described.
図５は、データ送信部１２２の処理を表すフローチャートである。データ送信部１２２は、画像送信装置１が起動され、受信側からのセッション開始コマンドをコマンド受信部１３が受信することにより、処理を開始する。 FIG. 5 is a flowchart showing processing of the data transmission unit 122. The data transmission unit 122 starts processing when the image transmission device 1 is activated and the command reception unit 13 receives a session start command from the reception side.
データ送信部１２２は、データバッファ１２１内の圧縮データストリーム５０上で次に送信する圧縮データパケット１０２の先頭アドレスを示す「bufptr」を初期化する。データバッファ１２１の何番目のインデックスに格納された圧縮データストリーム５０から圧縮データパケット１０２を送信するかを示す「data_Idx」を初期化する。1フレームの圧縮データの送信を停止するかどうかを示す「end_flag」を初期化する（Ｓ４０１）。データ送信部１２２は、例えば、bufptr＝０、data_Idx＝０、end_flag＝ＦＡＬＳＥとして初期化してよい。 The data transmission unit 122 initializes “bufptr” indicating the head address of the compressed data packet 102 to be transmitted next on the compressed data stream 50 in the data buffer 121. “Data_Idx” indicating that the compressed data packet 102 is transmitted from the compressed data stream 50 stored in the index of the data buffer 121 is initialized. “End_flag” indicating whether or not to stop transmission of one frame of compressed data is initialized (S401). For example, the data transmission unit 122 may be initialized as bufptr = 0, data_Idx = 0, and end_flag = FALSE.
データ送信部１２２は、セッションが終了しているか否かを判定する（Ｓ４０２）。ステップＳ４０２における判定がＹＥＳの場合、データ送信部１２２は処理を終了する。 The data transmission unit 122 determines whether the session has ended (S402). If the determination in step S402 is yes, the data transmission unit 122 ends the process.
ステップＳ４０２における判定がＮＯの場合、データ送信部１２２は、データバッファ１２１に圧縮データがあるか否かを判定する（Ｓ４０３）。例えば、データバッファ１２１に圧縮データがあるか否かを判定してよい。その場合は、例えばstored_Num＞０であるか否かで判定すればよい。 When the determination in step S402 is NO, the data transmission unit 122 determines whether there is compressed data in the data buffer 121 (S403). For example, it may be determined whether there is compressed data in the data buffer 121. In that case, the determination may be made based on whether stored_Num> 0, for example.
ステップＳ４０３における判定がＮＯ（stored_Num＝０）の場合、データ送信部１２２は、一定時間待機した後、ステップＳ４０２に遷移する。 If the determination in step S403 is NO (stored_Num = 0), the data transmission unit 122 waits for a predetermined time, and then transitions to step S402.
ステップＳ４０３における判定がＹＥＳ（stored_Num＞０）の場合、データ送信部１２２は、画像送信装置１の状態が再生状態（ＰＬＡＹ）であるか否かを判定する（Ｓ４０５）。 When the determination in step S403 is YES (stored_Num> 0), the data transmission unit 122 determines whether or not the state of the image transmission device 1 is the playback state (PLAY) (S405).
ステップＳ４０５における判定がＹＥＳ（再生状態）の場合、データ送信部１２２は、前回送信した圧縮データパケット１０２がフレームの終端であったか否かを判定する（Ｓ４０６）。これはend_flagがＴＲＵＥであるか否かで判定してよい。 When the determination in step S405 is YES (playback state), the data transmission unit 122 determines whether the previously transmitted compressed data packet 102 is the end of the frame (S406). This may be determined by whether or not end_flag is TRUE.
ステップＳ４０６における判定がＮＯ（end_flag＝ＦＡＬＳＥ）の場合、データ送信部１２２は、伝送モードがロスレスモードであるかロッシーモードであるかを判定する（Ｓ４０９）。 When the determination in step S406 is NO (end_flag = FALSE), the data transmission unit 122 determines whether the transmission mode is the lossless mode or the lossy mode (S409).
ステップＳ４０６における判定がＹＥＳ（end_flag＝ＴＲＵＥ）の場合、データ送信部１２２は、end_flagをＦＡＬＳＥにセットし（ステップ４０７）、ステップＳ４０９に遷移する。 If the determination in step S406 is YES (end_flag = TRUE), the data transmission unit 122 sets end_flag to FALSE (step 407), and transitions to step S409.
ステップＳ４０５における判定がＮＯ（再生状態でない）の場合、一時停止状態で、かつ前回送信した圧縮データパケット１０２がフレームの終端でなかったか否か（end_flagがＦＡＬＳＥか否か）を判定する（Ｓ４０８）。ステップＳ４０８における判定がＮＯ（一時停止状態でない、又は、一時停止状態でかつend_flagがＴＲＵＥである）の場合、データ送信部１２２は、一定時間待機し（Ｓ４０４）、ステップ４０２に遷移する。 If the determination in step S405 is NO (not in the playback state), it is determined whether or not the compressed data packet 102 transmitted last time is not the end of the frame (end_flag is FALSE) (S408). . If the determination in step S <b> 408 is NO (not in the pause state or in the pause state and end_flag is TRUE), the data transmission unit 122 waits for a certain time (S <b> 404) and transitions to step 402.
ステップＳ４０９における判定がロッシーモードの場合、データ送信部１２２は、送信中のフレームの送信を停止するか否かを判定する（Ｓ４１０）。この判定は、再生状態である場合、例えば、stored_Num＞１となった場合に打ち切りとしてend_flagをＴＲＵＥとしてもよい。 If the determination in step S409 is the lossy mode, the data transmission unit 122 determines whether to stop transmission of the frame being transmitted (S410). In this determination, when the playback state is set, for example, when stored_Num> 1, end_flag may be set to TRUE as an abort.
また、伝送帯域を監視し、指定されたフレームレートに基づいて計算されるフレーム間隔で送信可能なデータ量を、次に生成する圧縮データパケット１０２のペイロードサイズ（payload_size）で送信し終えるか否かを判定し、送信し終える場合に打ち切りと判定してもよい。ここで、ペイロードサイズとは、圧縮データパケット１０２からパケットヘッダを除いたデータ本体のサイズを示すものである。 Whether the transmission bandwidth is monitored and the transmission of the amount of data that can be transmitted at the frame interval calculated based on the designated frame rate is completed with the payload size (payload_size) of the compressed data packet 102 to be generated next When the transmission is completed, it may be determined that the transmission is terminated. Here, the payload size indicates the size of the data body excluding the packet header from the compressed data packet 102.
この際に、伝送画質をなるべく一定とするように、前のフレームと同じ画質となるまでは送信を打ち切らないと判定してもよい。また、ロッシーモードで画質が指定されている場合には、その画質を達成するデータサイズを、次に生成する圧縮データパケット１０２のペイロードサイズで送信し終えるか否かを判定し、送信し終える場合に打ち切りとしてend_flagをＴＲＵＥとしてもよい。 At this time, it may be determined that transmission is not interrupted until the image quality becomes the same as that of the previous frame so that the transmission image quality is as constant as possible. Also, when image quality is specified in the lossy mode, it is determined whether or not the transmission of the data size that achieves the image quality with the payload size of the compressed data packet 102 to be generated next is completed. End_flag may be set to TRUE as censoring.
ステップＳ４１０における判定がＹＥＳ（送信を停止する）の場合、データ送信部１２２は、end_flagをＴＲＵＥにセットし（Ｓ４１１）、送信する圧縮データパケット１０２がフレームの圧縮データストリーム５０の終端か否かを判定する（Ｓ４１２）。終端か否かは、送信中のフレームの次に送信する圧縮データパケット１０２の先頭位置を示すbufptrにパケットのペイロードサイズ(payload_size)を加えた値が、圧縮データストリーム５０全体のサイズ(stream_size)より大きいか否かで判定してよい。 When the determination in step S410 is YES (stops transmission), the data transmission unit 122 sets end_flag to TRUE (S411), and determines whether or not the compressed data packet 102 to be transmitted is the end of the compressed data stream 50 of the frame. Determination is made (S412). Whether or not it is the end is determined by adding the payload size (payload_size) of the packet to bufptr indicating the head position of the compressed data packet 102 to be transmitted next to the frame being transmitted from the size (stream_size) of the entire compressed data stream 50 You may judge by whether it is large.
また、フレームレートを維持できるように送信打ち切りを行う手法であれば、ここに述べた以外の方法で判定してもかまわない。一時停止状態の場合には、送信打ち切りは行わないと判定する。 Further, as long as the transmission is aborted so that the frame rate can be maintained, the determination may be made by a method other than the method described here. In the case of the temporary stop state, it is determined that the transmission is not aborted.
ステップＳ４１０における判定がＮＯ（送信を打ち切らない）の場合、ステップＳ４１２に遷移する。ステップＳ４０９における判定がロスレスモードの場合、ステップＳ４１２に遷移する。 When the determination in step S410 is NO (transmission is not aborted), the process proceeds to step S412. When the determination in step S409 is the lossless mode, the process proceeds to step S412.
ステップＳ４１２における判定がＹＥＳ（終端）の場合、データ送信部１２２は、end_flagをＴＲＵＥにセットする（Ｓ４１３）。なお、ペイロードサイズは予め決められた一定の値（１０２４byteなど）でもよいし、伝送帯域以下で、１フレーム間隔で十分に送ることができるサイズを圧縮データパケット１０２毎に計算して用いてもよい。例えば伝送帯域がbandwidth(bps)であり、フレームレートがframerate(fps)であった場合、payload_size(byte)は例えば式１により算出されてよい。
ここで、右辺の数字「８」は、byte単位をbit単位に変換する値である。ステップＳ４１３でend_flagをＴＲＵＥにセットした場合、ペイロードサイズは例えば式２で算出される値に変更してよい。
データ送信部１２２は、圧縮データパケット１０２を生成する（Ｓ４１４）。圧縮データストリーム５０は、例えば図３に示すように、圧縮データ１０１の前に例えば４byteのタイムスタンプと４byteのミニマムサイズ（min_size）が付加されてデータバッファ１２１に格納されているとする。 The data transmission unit 122 generates the compressed data packet 102 (S414). As shown in FIG. 3, for example, the compressed data stream 50 is stored in the data buffer 121 with a 4-byte time stamp and a 4-byte minimum size (min_size) added to the compressed data 101, for example.
ここで、min_sizeは圧縮データ１０１のうち、切り捨て不可能なデータのサイズを示す値である。bufptrはtime_stamp及びmin_sizeが付与された圧縮データ１０１上のアドレスを示しており、最初は０すなわち先頭を示す。 Here, min_size is a value indicating the size of data that cannot be discarded among the compressed data 101. bufptr indicates an address on the compressed data 101 to which time_stamp and min_size are assigned, and initially indicates 0, that is, the head.
ステップＳ４１４では、データ送信部１２２は、bufptrが指し示すアドレスからpayload_sizeで示されたデータサイズ分だけデータを切り出し、データの先頭に例えば４byteのパケットサイズおよび１byteのフレーム先頭情報と１byteのフレーム終端情報を付加して圧縮データパケット１０２とする。 In step S414, the data transmission unit 122 cuts out data by the data size indicated by payload_size from the address indicated by bufptr, and, for example, 4 bytes of packet size, 1 byte of frame head information, and 1 byte of frame end information are recorded at the head of the data. The compressed data packet 102 is added.
パケットサイズは、パケットサイズ、フレーム先頭情報、フレーム終了情報および切り出した圧縮データの全てを含むデータのバイト数としてもよいし、切り出した圧縮データ１０１のバイト数としてもよい。 The packet size may be the number of bytes of data including all of the packet size, frame head information, frame end information, and extracted compressed data, or may be the number of bytes of the extracted compressed data 101.
フレーム先頭情報は、例えばbufptrが０であれば１とし、bufptrが非０であれば０とする。フレーム終端情報は、例えばend_flagが０の場合には０とする。end_flagが１で、かつ圧縮データの末尾が切り出した圧縮データに含まれない場合、すなわち該パケットを送信しても可逆の圧縮データを送信することが不可能であれば１とする。end_flagが１で、かつ圧縮データの末尾が切り出した圧縮データに含まれる場合、すなわち該パケットを送信することで可逆のデータを送信することが可能であれば２とする。 For example, the frame head information is 1 when bufptr is 0, and is 0 when bufptr is non-zero. The frame end information is set to 0 when end_flag is 0, for example. If end_flag is 1 and the end of the compressed data is not included in the extracted compressed data, that is, it is 1 if it is impossible to transmit reversible compressed data even if the packet is transmitted. If end_flag is 1 and the end of the compressed data is included in the extracted compressed data, that is, 2 if reversible data can be transmitted by transmitting the packet.
データ送信部１２２は、生成した圧縮データパケット１０２を受信側に送信する（Ｓ４１５）。送信が終了すると、データ送信部１２２は、end_flagがＴＲＵＥであれば、buf[stored_Idx]に格納された圧縮データ１０１を破棄し、bufptr=0とする。また、データ送信部１２２は、stored_IdxがNであればstored_Idx＝０とし、Ｎより小さければstored_Idxを１インクリメントし、stored_Numをデクリメントする。一方、end_flagがＦＡＬＳＥであれば、bufptrをペイロードサイズ分だけインクリメントする（Ｓ４１６）。その後、ステップ４０２に遷移する。 The data transmission unit 122 transmits the generated compressed data packet 102 to the reception side (S415). When the transmission ends, the data transmission unit 122 discards the compressed data 101 stored in buf [stored_Idx] and sets bufptr = 0 if end_flag is TRUE. Further, if stored_Idx is N, the data transmission unit 122 sets stored_Idx = 0, and if it is smaller than N, the data transmission unit 122 increments stored_Idx by 1 and decrements stored_Num. On the other hand, if end_flag is FALSE, bufptr is incremented by the payload size (S416). Thereafter, the process proceeds to step 402.
データ送信部１２２の処理について説明した。 The processing of the data transmission unit 122 has been described.
以上、本実施形態について説明した。 The present embodiment has been described above.
例えば、遠隔画像診断システムにおける画像伝送に従来技術を用いると、診断者（受信側）が動画像による診断を行う際に、伝送帯域に対して所定の画質を満たすデータ量が多い場合に、十分なフレームレートで再生することができない。 For example, when the conventional technology is used for image transmission in a remote image diagnosis system, when a diagnostician (reception side) performs diagnosis by moving images, it is sufficient when there is a large amount of data that satisfies a predetermined image quality with respect to the transmission band. Cannot be played back at different frame rates.
また、従来技術では、静止画像が入力されたり、診断者（受信側）が一時停止指示を行ったりすることで、あるフレームの画像をより詳細に評価したい場合に、ロスレス画像を表示できない。 Further, according to the related art, when a still image is input or a diagnostician (reception side) issues a pause instruction, a lossless image cannot be displayed when it is desired to evaluate an image of a certain frame in more detail.
本実施形態では、受信側がロスレスモードを選択した場合には入力画像をロスレスで送信でき、ロッシーモードを選択した場合には送信打ち切り処理によってフレームレートを維持した送信を行うことができる。 In this embodiment, when the receiving side selects the lossless mode, the input image can be transmitted without loss, and when the lossy mode is selected, transmission can be performed while maintaining the frame rate by the transmission abortion process.
また、一時停止が指示された場合には、フレームの圧縮データの送信を打ち切らず、送信を継続することにより、より高画質な画像を送信することができる。すなわち、一時停止状態が一定時間以上継続される場合、ロスレス画像を送信することができる。 Further, when a pause is instructed, it is possible to transmit a higher quality image by continuing the transmission without stopping the transmission of the compressed data of the frame. That is, when the paused state continues for a certain time or longer, a lossless image can be transmitted.
（第２の実施の形態）
第２の実施の形態に係る画像送信装置２は、連続して入力される２枚以上の入力画像１００が実質的に同一の場合（すなわち、静止画像が入力される場合）に、当該入力画像１００の圧縮データ１０１の送信を継続する点が、画像送信装置１と主に異なる。
(Second Embodiment)
The image transmission apparatus 2 according to the second embodiment is configured to input an input image when two or more input images 100 that are continuously input are substantially the same (that is, when a still image is input). The main difference from the image transmitting apparatus 1 is that the transmission of 100 compressed data 101 is continued.
図６は画像送信装置２を表すブロック図である。画像送信装置２は、判定部２４と、画像バッファ２５と、圧縮部１１と、送信部１２とを備える。また、図６において、画像送信装置２は、画像送信装置１におけるコマンド受信部１３を含んでいるが、含んでいなくても構わない。 FIG. 6 is a block diagram showing the image transmission device 2. The image transmission device 2 includes a determination unit 24, an image buffer 25, a compression unit 11, and a transmission unit 12. In FIG. 6, the image transmission device 2 includes the command reception unit 13 in the image transmission device 1, but may not include the command reception unit 13.
画像バッファ２５は、入力画像１００よりも過去の時刻のフレーム（例えば、直前のフレーム）の過去画像２００を格納する。 The image buffer 25 stores a past image 200 of a frame at a time earlier than the input image 100 (for example, the immediately preceding frame).
判定部２４は、受信側で表示される動画像が、一定時間以上停止するか否かを判定する。本実施形態において、判定部２４は、画像バッファ２５に格納されている過去画像２００と、入力画像１００とを比較して、入力画像１００が過去画像２００と実質的に同一であるか否か（すなわち静止画像であるか否か）を判定する。判定部２４は、判定結果を圧縮部１１に通知する。 The determination unit 24 determines whether or not the moving image displayed on the receiving side is stopped for a predetermined time or more. In the present embodiment, the determination unit 24 compares the past image 200 stored in the image buffer 25 with the input image 100 to determine whether the input image 100 is substantially the same as the past image 200 ( That is, it is determined whether or not the image is a still image. The determination unit 24 notifies the compression unit 11 of the determination result.
以上、画像送信装置２の構成（画像送信装置１と主に異なる点）について説明した。 The configuration of the image transmission device 2 (mainly different from the image transmission device 1) has been described above.
図７は、判定部２４及び圧縮部１１の処理を表すフローチャートである。図７のフローチャートは、図４のフローチャートにステップＳ７０１と、ステップＳ７０２とが加わる。 FIG. 7 is a flowchart showing processing of the determination unit 24 and the compression unit 11. In the flowchart of FIG. 7, step S701 and step S702 are added to the flowchart of FIG.
ステップＳ７０１について説明する。ステップＳ３０１において、圧縮部１１がデータバッファ１２１に空きがあると判定した場合、判定部２４は、画像バッファ２５に格納されている過去画像２００と、入力画像１００とを比較して、入力画像１００が過去画像２００と実質的に同一であるか否か（すなわち静止画像であるか否か）を判定する（Ｓ７０１）。ステップＳ７０１における判定がＹＥＳ（静止画像）の場合は、ステップＳ３０２に遷移する。ステップＳ７０１における判定がＮＯ（静止画像でない）の場合は、ステップＳ３０３に遷移する。 Step S701 will be described. In step S301, when the compression unit 11 determines that the data buffer 121 is free, the determination unit 24 compares the input image 100 with the past image 200 stored in the image buffer 25, and the input image 100. Is substantially the same as the past image 200 (that is, whether or not it is a still image) (S701). If the determination in step S701 is YES (still image), the process proceeds to step S302. If the determination in step S701 is NO (not a still image), the process proceeds to step S303.
ステップＳ７０２について説明する。ステップＳ３０５の処理が終了すると、圧縮部１１は、入力画像１００を画像バッファ２５に格納する（Ｓ７０２）。格納された入力画像１００が過去画像２００となる。 Step S702 will be described. When the process of step S305 ends, the compression unit 11 stores the input image 100 in the image buffer 25 (S702). The stored input image 100 becomes the past image 200.
判定部２４及び圧縮部１１の処理について説明した。 The processes of the determination unit 24 and the compression unit 11 have been described.
データ送信部１２２の処理については、図５にしめすフローチャートと同様である。ただし、ステップＳ４１０における処理において、送信中のフレームの次に入力されたフレームが静止画像であると判定された場合には送信を打ち切らない点が異なる。 The processing of the data transmission unit 122 is the same as the flowchart shown in FIG. However, the difference is that the transmission is not terminated when it is determined in the process in step S410 that the frame input next to the frame being transmitted is a still image.
以上説明したように、本実施形態によれば、静止画像が入力された場合、次に異なる画像が入力されるまでは送信中のフレームの圧縮データ１０１を最後まで送信し続けることにより、より可逆に近い圧縮データを送信することができる。さらに、静止画像の時間が継続すれば、最終的に可逆の画像を送信することができる。 As described above, according to the present embodiment, when a still image is input, it is more reversible by continuing to transmit the compressed data 101 of the frame being transmitted to the end until the next different image is input. It is possible to transmit compressed data close to. Furthermore, if the time of the still image continues, a reversible image can be finally transmitted.
（第３の実施の形態）
第３の実施の形態に係る画像受信装置３は、送信側である上述の画像送信装置１又は画像送信装置２からの圧縮データパケット１０２を受信し、圧縮データパケット１０２を伸長した画像を生成するものである。
(Third embodiment)
The image receiving device 3 according to the third embodiment receives the compressed data packet 102 from the image transmitting device 1 or the image transmitting device 2 on the transmission side, and generates an image obtained by expanding the compressed data packet 102. Is.
図８は、画像受信装置３を表すブロック図である。画像受信装置３は、受信部３０と、データバッファ３１と、伸長部３２と、コマンド送信部３３とを備える。画像受信装置３は、インターネット、イントラネット、無線ＬＡＮ等のネットワークを介して、画像送信装置１又は画像送信装置２に接続されてよい。 FIG. 8 is a block diagram showing the image receiving device 3. The image reception device 3 includes a reception unit 30, a data buffer 31, an expansion unit 32, and a command transmission unit 33. The image reception device 3 may be connected to the image transmission device 1 or the image transmission device 2 via a network such as the Internet, an intranet, or a wireless LAN.
受信部３０は、送信側からの圧縮データパケット１０２を受信し、圧縮データ１０１を取り出す。データバッファ３１は、圧縮データ１０１を格納する。伸長部３２は、データバッファ３１から圧縮データ１０１を読み出して伸長画像３００を生成する。コマンド送信部３３は、伝送要求を送信側に送信する。伝送要求は、上述した伝送モード、送信する動画像のフレームレート、動画像の画質、再生コマンドを含む。 The receiving unit 30 receives the compressed data packet 102 from the transmission side and extracts the compressed data 101. The data buffer 31 stores the compressed data 101. The decompressing unit 32 reads the compressed data 101 from the data buffer 31 and generates a decompressed image 300. The command transmission unit 33 transmits a transmission request to the transmission side. The transmission request includes the transmission mode, the frame rate of the moving image to be transmitted, the image quality of the moving image, and the playback command.
コマンド送信部３３は、受信側のユーザが用いるＵＩ（不図示）から指定されるコマンド１０４のうち、送信に関連する伝送要求を画像送信装置に送信する。なお、コマンド１０４は、さらに再生モードを指定するコマンドを含む。再生モードは、フルフレームモードとプログレッシブモードとを含む。 The command transmission unit 33 transmits a transmission request related to transmission to the image transmission apparatus among commands 104 specified from a UI (not shown) used by the user on the reception side. Note that the command 104 further includes a command for designating a playback mode. The playback mode includes a full frame mode and a progressive mode.
受信側のユーザによりフルフレームモードが選択された場合、伸張部３２は、１フレームの圧縮データ１０１を全て受信した後に、圧縮データ１０１伸張する。プログレッシブモードが選択された場合、伸張部３２は、受信済みの１フレームの圧縮データ１０１の一部を伸張する。なお、１フレームの圧縮データのすべてを受信したか否かは、図３に示すパケットヘッダのフレーム終了情報から判断してよい。 When the full frame mode is selected by the user on the receiving side, the decompressing unit 32 decompresses the compressed data 101 after receiving all the compressed data 101 of one frame. When the progressive mode is selected, the decompressing unit 32 decompresses a part of the received compressed data 101 of one frame. Whether or not all the compressed data of one frame has been received may be determined from the frame end information of the packet header shown in FIG.
以上、画像送受信装置３の構成について説明した。 The configuration of the image transmission / reception device 3 has been described above.
画像受信装置３の状態は、起動時には初期状態（ＩＮＩＴ）となっており、セッション開始コマンドをコマンド送信部３３が送信すると、伸張に必要な初期化を行った後、再生待ち状態（ＲＥＡＤＹ）となる。 The state of the image receiving device 3 is in an initial state (INIT) at the time of activation, and when the command transmission unit 33 transmits a session start command, initialization necessary for decompression is performed, and then a reproduction waiting state (READY) is set. Become.
再生開始コマンドをコマンド送信部３３が送信すると、受信部３０は圧縮データパケット１０２の受信を開始し、画像受信装置３は再生状態（ＰＬＡＹ）となる。取り出した圧縮データ１０１はデータバッファ３１に格納される。データバッファ３１は上述のデータバッファ１２１と同様に、例えば図２に示す構造となっており、初期化時にstored_Idx＝０、stored_Num＝０と、圧縮データ１０１を格納するインデックスと、格納されている圧縮データのフレーム数を初期化する。 When the command transmission unit 33 transmits the reproduction start command, the reception unit 30 starts reception of the compressed data packet 102, and the image reception device 3 enters a reproduction state (PLAY). The extracted compressed data 101 is stored in the data buffer 31. Similar to the data buffer 121 described above, the data buffer 31 has the structure shown in FIG. 2, for example, stored_Idx = 0 and stored_Num = 0 at initialization, an index for storing the compressed data 101, and stored compression Initialize the number of frames of data.
一時停止コマンドをコマンド送信部３３が送信すると、画像受信装置３の状態は一時停止状態（ＰＡＵＳＥ）となる。伸張部３２は再生状態（ＰＬＡＹ）のときにデータバッファ３１に一時保存されている圧縮データ１０１を伸張し、伸張画像３００を図示しない表示装置へ出力する。 When the command transmission unit 33 transmits a pause command, the state of the image reception device 3 becomes a pause state (PAUSE). The decompression unit 32 decompresses the compressed data 101 temporarily stored in the data buffer 31 in the playback state (PLAY), and outputs the decompressed image 300 to a display device (not shown).
一時停止状態（ＰＡＵＳＥ）の場合には、データバッファ３１内の圧縮データ１０１が可逆圧縮データとなるまで、すなわち可逆となる伸張画像３００を図示しない表示装置へ出力するまで伸張処理を継続する。 In the pause state (PAUSE), the decompression process is continued until the compressed data 101 in the data buffer 31 becomes reversible compressed data, that is, until a decompressed decompressed image 300 is output to a display device (not shown).
セッション終了コマンドをコマンド送信部３３が送信すると、伸張部３２による伸張と、受信部３０による受信とを中止し、データバッファ３１に残っているデータを破棄する。そして、画像受信装置３の状態は再び初期状態（ＩＮＩＴ）に戻る。 When the command transmission unit 33 transmits the session end command, the expansion by the expansion unit 32 and the reception by the reception unit 30 are stopped, and the data remaining in the data buffer 31 is discarded. Then, the state of the image receiving device 3 returns to the initial state (INIT) again.
図９は、受信部３０の処理を表すフローチャートである。受信部３０の処理は、ＵＩ（不図示）からセッション開始コマンドが入力され、コマンド送信部３３がセッション開始コマンドをコマンド１０３として送信側に送信した状態からスタートする。 FIG. 9 is a flowchart showing processing of the receiving unit 30. The processing of the reception unit 30 starts from a state in which a session start command is input from a UI (not shown) and the command transmission unit 33 transmits the session start command as the command 103 to the transmission side.
受信部３０は、データバッファ３１内で、圧縮データ１０１を格納する先頭アドレスを示すbufptr及びデータバッファ３１の何番目のインデックスに格納するかを示すstored_Idxを、初期化する（Ｓ９０１）。例えば、bufptr＝０、stored_Idx＝０としてよい。 In the data buffer 31, the receiving unit 30 initializes bufptr indicating the head address for storing the compressed data 101 and stored_Idx indicating the index of the data buffer 31 to store (S901). For example, bufptr = 0 and stored_Idx = 0 may be set.
受信部３０は、セッションが終了したかどうかを判定する（Ｓ９０２）。ステップＳ９０２における判定がＹＥＳ（セッション終了）の場合、処理を終了する。ステップＳ９０２における判定がＮＯ（セッションは終了していない）の場合、受信部３０は、データバッファ３１に空きがあるか否かを判定する（Ｓ９０３）。該判定は、図４のステップＳ３０１と同様の方法で行うことができる。 The receiving unit 30 determines whether the session has ended (S902). If the determination in step S902 is YES (end of session), the process ends. If the determination in step S902 is NO (session has not ended), the receiving unit 30 determines whether or not there is an empty space in the data buffer 31 (S903). This determination can be performed by the same method as in step S301 in FIG.
ステップＳ９０３における判定がＮＯ（空きなし）の場合、受信部３０は一定時間待機し（Ｓ９１０）、ステップＳ９０２に遷移する。ステップＳ９０３における判定がＹＥＳ（空きあり）の場合、受信部３０は、画像受信装置３が再生状態（ＰＬＡＹ）か一時停止状態（ＰＡＵＳＥ）かを判定する（Ｓ９０４）。ステップＳ９０４における判定がＮＯ（再生状態でも一時停止状態でもない）場合、ステップＳ９１０に遷移する。 If the determination in step S903 is NO (no space available), the receiving unit 30 waits for a certain time (S910), and the process proceeds to step S902. If the determination in step S903 is YES (there is an empty space), the receiving unit 30 determines whether the image receiving device 3 is in a playback state (PLAY) or a pause state (PAUSE) (S904). If the determination in step S904 is NO (not a playback state or a pause state), the process proceeds to step S910.
ステップＳ９０４における判定がＹＥＳ（再生状態か一時停止状態である）場合、受信部３０は、パケットヘッダを受信する（Ｓ９０５）。受信部３０は、ペイロードサイズ分のデータを受信する（Ｓ９０６）。図３に示すとおり、パケットヘッダにはペイロードサイズが含まれている。 When the determination in step S904 is YES (reproduction state or pause state), the receiving unit 30 receives the packet header (S905). The receiving unit 30 receives data for the payload size (S906). As shown in FIG. 3, the packet header includes a payload size.
ステップＳ９０５及びステップＳ９０６で受信したパケットより、図３に示すパケットサイズ、フレーム先頭情報およびフレーム終了情報を削除すると、圧縮データ１０１の一部が得られる。 If the packet size, frame head information, and frame end information shown in FIG. 3 are deleted from the packets received in steps S905 and S906, a part of the compressed data 101 is obtained.
受信部３０は、圧縮データ１０１をデータバッファ３１のstored_Idx番目のbufptrが示すアドレスに格納し、bufptrを圧縮データのサイズ分だけインクリメントする（Ｓ９０７）。そして、受信部３０は、フレーム終了情報に含まれるend_flagの値により、圧縮データ１０１が１フレームの圧縮データの終端であるか否かを判定する（Ｓ９０８）。 The receiving unit 30 stores the compressed data 101 at the address indicated by the stored_Idx-th bufptr in the data buffer 31, and increments the bufptr by the size of the compressed data (S907). Then, the receiving unit 30 determines whether or not the compressed data 101 is the end of the compressed data of one frame based on the value of end_flag included in the frame end information (S908).
ステップＳ９０８における判定がＹＥＳ（終端であった）の場合（すなわちend_flagがＴＲＵＥであった場合）、受信部３０は、次に格納するインデックスを示すstored_Idxを更新し、bufptrを０にセットし（Ｓ９０９）、ステップＳ９０２に遷移する。受信部３０は、例えば、stored_Idx＜Ｎの場合にstored_Idxを１加算した値とし、stored_IdxがＮの場合はstored_Idxを０としてよい。ステップＳ９０８における判定がＮＯ（終端でない）の場合は、ステップＳ９０２に遷移する。 If the determination in step S908 is YES (end) (that is, if end_flag is TRUE), the receiving unit 30 updates stored_Idx indicating an index to be stored next, and sets bufptr to 0 (S909). ), And the process proceeds to step S902. For example, when stored_Idx <N, the reception unit 30 may set a value obtained by adding 1 to stored_Idx, and may set 0 to 0 when stored_Idx is N. If the determination in step S908 is NO (not the end), the process proceeds to step S902.
以上、受信部３０の処理について説明した。 The processing of the receiving unit 30 has been described above.
図１０は、伸張部３２の処理を表すフローチャートである。伸張部３２の処理は、ＵＩ（不図示）からセッション開始コマンドが入力され、コマンド送信部３３がセッション開始コマンドをコマンド１０３として送信側に送信した状態からスタートする。 FIG. 10 is a flowchart showing processing of the decompression unit 32. The processing of the decompression unit 32 starts from a state in which a session start command is input from a UI (not shown) and the command transmission unit 33 transmits the session start command as the command 103 to the transmission side.
伸張部３２は、data_idxの値を初期化する（Ｓ１００１）。伸張部３２は、セッションが終了しているか否かを判定する（Ｓ１００２）。ステップＳ１００２における判定がＹＥＳ（セッション終了）の場合は、処理を終了する。 The decompressing unit 32 initializes the value of data_idx (S1001). The decompressing unit 32 determines whether or not the session has ended (S1002). If the determination in step S1002 is YES (end of session), the process ends.
ステップＳ１００２における判定がＮＯ（セッションが終了していない）場合、伸張部３２は、タイマをセットする（Ｓ１００３）。ここで、タイマにセットされる値は、ＵＩなどより指定されるか、あらかじめ設定されているフレームレートに基づいて計算されたフレーム間隔を指定してもよい。例えばフレームレートが３０ｆｐｓにセットされている場合には、タイマの値は３３ｍｓにセットされる。 If the determination in step S1002 is NO (session has not ended), the decompression unit 32 sets a timer (S1003). Here, the value set in the timer may be designated by a UI or the like, or a frame interval calculated based on a preset frame rate may be designated. For example, when the frame rate is set to 30 fps, the timer value is set to 33 ms.
伸張部３２は、データバッファ３１のdata_Idx番目のインデックス（buf[data_Idx]）に圧縮データ１０１が格納されているか否かを判定する（Ｓ１００４）。ステップＳ１００４における判定がＮＯ（圧縮データが格納されていない）場合、伸張部３２は、タイマが終了するのを待機し（Ｓ１０１２）、ステップＳ１００２に遷移する。 The decompressing unit 32 determines whether the compressed data 101 is stored in the data_Idx-th index (buf [data_Idx]) of the data buffer 31 (S1004). If the determination in step S1004 is NO (compressed data is not stored), the decompression unit 32 waits for the timer to expire (S1012), and transitions to step S1002.
ステップＳ１００４における判定がＹＥＳ（圧縮データが格納されている）の場合、伸張部３２は、画像受信装置３が再生状態又は一時停止状態かを判定する（Ｓ１００５）。ステップＳ１００５における判定がＮＯ（再生状態でも一時停止状態でもない）の場合、ステップＳ１０１２に遷移する。 If the determination in step S1004 is YES (compressed data is stored), the decompressing unit 32 determines whether the image receiving device 3 is in a playback state or a paused state (S1005). If the determination in step S1005 is NO (not a playback state or a pause state), the process proceeds to step S1012.
ステップＳ１００５における判定がＹＥＳ（再生状態又は一時停止状態である）場合、伸張部３２は、プログレッシブモードか否かを判定する（Ｓ１００６）。ステップＳ１００６における判定がＹＥＳ（プログレッシブモード）である場合、伸張部３２は、buf[data_Idx]に格納されている圧縮データ１０１を(min_size)byte以上受信しているか否か（すなわち圧縮データ１０１のうち、切り捨て不可能なデータを全て受信しているか否か）を判定する（Ｓ１００７）。 When the determination in step S1005 is YES (reproduction state or pause state), the decompressing unit 32 determines whether or not the progressive mode is set (S1006). If the determination in step S1006 is YES (progressive mode), the decompression unit 32 determines whether or not the compressed data 101 stored in buf [data_Idx] has been received (min_size) bytes or more (that is, out of the compressed data 101) , Whether or not all data that cannot be discarded is received (S1007).
ステップＳ１００７における判定がＮＯ（受信していない）の場合、ステップＳ１０１２に遷移する。ステップＳ１００７における判定がＹＥＳ（受信している）の場合、伸張部３２は、buf[data_Idx]内に格納されている圧縮データ１０１を伸張する。伸張部３２は、伸長した伸長画像３００を、例えば表示装置等へ出力する（Ｓ１００９）。ここで、伸張画像の出力先は表示装置としたがこれに限られない。例えば、ハードディスク等の補助記憶装置等に出力してもよい。 If the determination in step S1007 is NO (not received), the process proceeds to step S1012. If the determination in step S1007 is YES (received), the decompression unit 32 decompresses the compressed data 101 stored in buf [data_Idx]. The decompressing unit 32 outputs the decompressed decompressed image 300 to, for example, a display device (S1009). Here, the output destination of the decompressed image is the display device, but is not limited thereto. For example, the data may be output to an auxiliary storage device such as a hard disk.
この際、伸張部３２に供給される圧縮データ１０１は、先頭から受信できたところまでを供給してもよいし、前回の伸張で入力したデータ以降に受信したデータのみを入力してもよい。 At this time, the compressed data 101 supplied to the decompression unit 32 may be supplied up to the point where it can be received from the beginning, or only the data received after the data inputted in the previous decompression may be inputted.
ステップＳ１００６における判定がＮＯ（フルフレームモード）である場合、伸張部３２は、buf[data_Idx]に格納されている圧縮データ１０１のend_flagがＴＲＵＥであるか否か（すなわち、該フレームの圧縮データ１０１の受信を終えているか否か）を判定する（Ｓ１００８）。ステップＳ１００８における判定がＹＥＳ（受信を終えている）の場合、ステップＳ１００９に遷移する。ステップＳ１００８における判定がＮＯ（受信を終えていない）の場合、ステップＳ１０１２に遷移する。 When the determination in step S1006 is NO (full frame mode), the decompression unit 32 determines whether or not the end_flag of the compressed data 101 stored in buf [data_Idx] is TRUE (that is, the compressed data 101 of the frame). (S1008). When the determination in step S1008 is YES (reception has been completed), the process proceeds to step S1009. If the determination in step S1008 is NO (not received), the process proceeds to step S1012.
ステップＳ１００９の後、伸張部３２は、buf[data_Idx]に格納されている圧縮データ１０１のend_flagがＴＲＵＥであるか否か（すなわち、該フレームの圧縮データ１０１の受信を終えているか否か）を判定する（Ｓ１０１０）。ステップＳ１０１０における判定がＹＥＳ（受信を終えている）の場合、伸張部３２は、buf[data_Idx]に格納されている圧縮データを破棄し、data_Idxの値を更新する（Ｓ１０１１）。data_Idxの更新方法は、図９のステップＳ９０９のstored_Idxの更新方法と同様である。ステップＳ１０１０における判定がＮＯ（受信を終えていない）の場合は、ステップＳ１０１２に遷移する。 After step S1009, the decompression unit 32 determines whether or not the end_flag of the compressed data 101 stored in buf [data_Idx] is TRUE (that is, whether or not reception of the compressed data 101 of the frame has been completed). Determination is made (S1010). If the determination in step S1010 is YES (reception has been completed), the decompression unit 32 discards the compressed data stored in buf [data_Idx] and updates the value of data_Idx (S1011). The method for updating data_Idx is the same as the method for updating stored_Idx in step S909 of FIG. If the determination in step S1010 is NO (no reception has been completed), the process proceeds to step S1012.
以上、伸張部３２の処理について説明した。 The processing of the decompression unit 32 has been described above.
以上、本実施形態について説明した。 The present embodiment has been described above.
本実施形態によれば、プログレッシブモードを選択した場合には、1フレーム分の圧縮データを途中までしか受信していなくても、指定されたフレームレートに従って順次伸張・表示を行うことができる。 According to the present embodiment, when the progressive mode is selected, even if the compressed data for one frame is received only halfway, it can be sequentially expanded and displayed according to the designated frame rate.
また、ロスレスモードを選択した場合にはロスレスで送信される圧縮データをプログレッシブモードあるいはフルフレームモードで伸張・表示が可能であり、ロッシーモードを選択した場合には送信打ち切り処理によってフレームレートを維持して送信される圧縮データを受信し、フレームレートを維持して再生することができる。 In addition, when lossless mode is selected, compressed data transmitted lossless can be expanded and displayed in progressive mode or full frame mode, and when lossy mode is selected, the frame rate is maintained by transmission abort processing. Thus, the compressed data transmitted can be received and reproduced while maintaining the frame rate.
また、一時停止指示が行われた場合でも、指定されたフレームレートに基づいたフレーム間隔等で伸張表示処理を行うことで、最終的には送信側から送信される可逆画像を表示することができる。 Even when a pause instruction is issued, a reversible image finally transmitted from the transmission side can be displayed by performing decompression display processing at a frame interval or the like based on the designated frame rate. .
また、送信側で静止画像が入力された場合でも、送信側が次に異なる画像が入力されるまでは送信中のフレームの圧縮データを最後まで送信し続けるため、指定されたフレームレートに基づいたフレーム間隔等で伸張・表示処理を行うことでより可逆に近い圧縮データを送信することが可能となる。さらに静止の時間が続けば、最終的には可逆の画像を伸張表示することが可能となる。 In addition, even when a still image is input on the transmission side, the compressed data of the frame being transmitted is transmitted to the end until the transmission side inputs another different image. By performing decompression / display processing at intervals or the like, it becomes possible to transmit compressed data that is more reversible. If the still time continues, a reversible image can be expanded and displayed finally.
（効果の説明）
図１１は、画像送信装置１及び画像受信装置３を用いたシステムの効果の説明図である。図１１は末尾からトランケーション可能な圧縮ストリームをframe0から例えば33msの間隔で圧縮送信する際の模式図を示している。各矩形は圧縮ストリームを示しており、横の長さがデータ長である。
(Explanation of effect)
FIG. 11 is an explanatory diagram of the effect of the system using the image transmission device 1 and the image reception device 3. FIG. 11 is a schematic diagram when a compressed stream that can be truncated from the end is compressed and transmitted from frame 0 at an interval of, for example, 33 ms. Each rectangle represents a compressed stream, and the horizontal length is the data length.
例えばframe0の圧縮ストリームをすべて送信すればロスレスとなり、ある一定のところまで送信すれば所定の画質となる伸張画像が得られる。送信されるデータが多ければ多いほど、画質が向上し、より可逆に近い伸張画像が得られる。 For example, if all the compressed streams of frame 0 are transmitted, losslessness is obtained, and if a certain point is transmitted, an expanded image having a predetermined image quality is obtained. The more data that is transmitted, the better the image quality and the more reversible decompressed image is obtained.
このような圧縮方式を用いた圧縮伝送方式の従来例として、図１１には３つの例を図示している。従来例１は、フレームレートを優先した伝送方式であり、例えば帯域下で33msの間隔で伝送できるデータサイズで送信することでフレームレートを維持する方式であるが、本方式では一時停止指示を行った際でも圧縮データの一部しか送信されないため、一時停止時に表示される画像の画質は低下する。 As a conventional example of a compression transmission method using such a compression method, FIG. 11 shows three examples. Conventional example 1 is a transmission method that prioritizes the frame rate. For example, the frame rate is maintained by transmitting data with a data size that can be transmitted at an interval of 33 ms under the band. In this method, a pause instruction is issued. Even in such a case, only a part of the compressed data is transmitted, so that the image quality of the image displayed at the time of pause is lowered.
従来例２は、すべての画像をロスレスで送信する方式である。フレーム間隔で送信が間に合わない場合は、フレームをスキップするか、1フレームの送信が終わるまで次のフレームを送信しない。このような伝送方式では、常にロスレスで画像を表示することが可能であるが、フレームレートを維持することができない。 Conventional example 2 is a method of transmitting all images losslessly. If transmission cannot be made within the frame interval, the frame is skipped or the next frame is not transmitted until one frame is transmitted. In such a transmission method, it is possible to always display an image without loss, but the frame rate cannot be maintained.
従来例３（特許文献１）は、所定の画質を満たしつつ送信を行う方式であり、フレームレートをある程度維持しつつ高画質で送信が可能であるが、一時停止を行った際も所定の画質でしか送信されず、ロスレスで画像を表示することができないし、フレームレートを維持することもできない。 Conventional example 3 (Patent Document 1) is a method of performing transmission while satisfying a predetermined image quality. Transmission can be performed with high image quality while maintaining a certain frame rate. It can only be transmitted in a lossless manner, and the image cannot be displayed losslessly, and the frame rate cannot be maintained.
図１１に示す、本実施形態を用いたシステムであれば、フレームレートを維持しつつ送信が可能であり、なおかつ一時停止コマンドが入力された場合にはロスレスの画像を送信・表示することが可能となる。 The system using this embodiment shown in FIG. 11 can transmit while maintaining the frame rate, and can transmit and display a lossless image when a pause command is input. It becomes.
図１２は、画像送信装置２及び画像受信装置３を用いたシステムの効果の説明図である。 FIG. 12 is an explanatory diagram of the effect of the system using the image transmission device 2 and the image reception device 3.
図１２は、frame２，３，４，〜（ｎ−１）が静止画像である場合の例である。図１１に示す従来例３では静止画を判定しないため、静止画像が入力されても所定の画質でしか表示ができない。 FIG. 12 shows an example in which frames 2, 3, 4,... (N-1) are still images. Since conventional example 3 shown in FIG. 11 does not determine a still image, even if a still image is input, it can be displayed only with a predetermined image quality.
本実施形態を用いたシステムであれば、frame２の送信が開始された後、frame３〜（ｎ−１）までは静止画像と判定され、圧縮を行わずにframe２の圧縮データの送信が継続され、frame2の圧縮データはロスレスとなるまで送信される。 In the system using this embodiment, after transmission of frame 2 is started, frames 3 to (n−1) are determined as still images, and transmission of compressed data of frame 2 is continued without compression. The compressed data of frame2 is transmitted until it becomes lossless.
また、画像受信装置３においてプログレッシブモードが選択されていると、フレーム間隔に基づいて伸張・表示処理を行うことで、frame２の画像を高速に表示でき、かつ表示画像がロスレスとなるまで徐々に画質が向上するような再生が可能となる。 Further, when the progressive mode is selected in the image receiving device 3, the image of frame 2 can be displayed at high speed by performing expansion / display processing based on the frame interval, and the image quality is gradually increased until the display image becomes lossless. Can be reproduced so that
以上、上述した実施形態により、送信遅延を低減しつつ、より高画質な画像を送信することができる画像送信装置および方法、画像受信装置および方法を提供することができる。 As described above, according to the above-described embodiments, it is possible to provide an image transmission apparatus and method, and an image reception apparatus and method that can transmit a higher quality image while reducing transmission delay.
なお、この画像送信装置および画像受信装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、入力部１０、圧縮部１１、送信部１２、コマンド受信部１３、判定部１４、判定部２４、コマンド送信部３３、画像受信部３０、伸張部３２は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。またデータバッファ１２１、データバッファ３１、画像バッファ２５は上記コンピュータ装置に搭載されたメモリなどに実現することができる。このとき、画像送信装置および画像受信装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、データバッファ１２１、データバッファ３１および、画像バッファ２５は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。 Note that the image transmission device and the image reception device can also be realized by using, for example, a general-purpose computer device as basic hardware. That is, the input unit 10, the compression unit 11, the transmission unit 12, the command reception unit 13, the determination unit 14, the determination unit 24, the command transmission unit 33, the image reception unit 30, and the decompression unit 32 are mounted on the computer device. This can be realized by causing a processor to execute a program. The data buffer 121, the data buffer 31, and the image buffer 25 can be realized in a memory or the like mounted on the computer device. At this time, the image transmission device and the image reception device may be realized by installing the above program in a computer device in advance, or may be stored in a storage medium such as a CD-ROM or via a network. You may implement | achieve by distributing a program and installing this program in a computer apparatus suitably. Further, the data buffer 121, the data buffer 31, and the image buffer 25 are a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, and a DVD-R, which are built in or externally attached to the computer device. It can be realized by appropriately using the above.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１、２ 画像送信装置
３ 画像受信装置
１０ 入力部
１１ 圧縮部
１２ 送信部
１３ コマンド受信部
１４、２４ 判定部
２５ 画像バッファ
３０ 受信部
３１、１２１ データバッファ
３２ 伸長部
１２２ データ送信部
DESCRIPTION OF SYMBOLS 1, 2 Image transmitter 3 Image receiver 10 Input part 11 Compression part 12 Transmission part 13 Command reception part 14, 24 Determination part 25 Image buffer 30 Reception part 31, 121 Data buffer 32 Expansion part 122 Data transmission part
Claims (10)
入力された画像を可逆圧縮して、前記画像の圧縮データを得る圧縮部と、
前記圧縮データを、複数に分割したデータパケットとして、上位ビット側から順次送信する送信部と、
受信側で前記画像の表示が一定時間以上停止するか否かを判定する判定部と
を備え、
前記判定部が、受信側で前記画像の表示が一定時間以上停止すると判定した場合、前記送信部は、送信中の前記圧縮データの送信を継続する、
画像送信装置。 An image transmitting apparatus that transmits a compressed moving image to a receiving side,
A compression unit that reversibly compresses an input image and obtains compressed data of the image;
A transmitter that sequentially transmits the compressed data as a data packet divided into a plurality of bits from the upper bit side;
A determination unit that determines whether or not the display of the image is stopped for a certain time or more on the receiving side,
When the determination unit determines that the display of the image is stopped for a certain time or more on the reception side, the transmission unit continues transmission of the compressed data being transmitted.
Image transmission device.
前記コマンドは、
送信が再生状態か一時停止状態かを示す再生コマンドを含み、
前記判定部は、
前記再生コマンドが一時停止状態である場合、受信側で前記画像の表示が一定時間以上停止すると判定する、請求項１記載の画像送信装置。 A command receiving unit for receiving a command from the receiving side;
The command is
Contains a play command that indicates whether the transmission is in play or paused state,
The determination unit
The image transmission device according to claim 1, wherein when the reproduction command is in a paused state, the reception side determines that the display of the image is stopped for a predetermined time or more.
前記判定部は、
前記伝送モードがロスレスモードである場合、受信側で前記画像の表示が一定時間以上停止すると判定する、請求項１又は２記載の画像送信装置。 The command includes a transmission mode indicating a lossless mode in which all the compressed data is transmitted or a lossy mode in which lossy compressed data in which lower-order bits of the compressed data are truncated is transmitted,
The determination unit
The image transmission device according to claim 1, wherein when the transmission mode is a lossless mode, the reception side determines that display of the image is stopped for a predetermined time or more.
前記圧縮部に入力される連続する複数の前記画像が実質的に同一である場合、受信側で前記画像の表示が一定時間以上停止すると判定する、請求項１から３記載の画像送信装置。 The determination unit
The image transmission device according to claim 1, wherein when a plurality of consecutive images input to the compression unit are substantially the same, the receiving side determines that the display of the image is stopped for a predetermined time or more.
前記送信部が切捨て不可能なデータを送信中、前記判定部は、受信側で前記画像の表示が一定時間以上停止すると判定する、請求項１から４記載の画像送信装置。 The compressed data includes data that cannot be truncated and data that can be truncated.
5. The image transmission device according to claim 1, wherein the determination unit determines that the display of the image is stopped for a predetermined time or more on the reception side while the transmission unit is transmitting data that cannot be discarded.
前記圧縮データの前記データパケットが、前記圧縮データの先頭であるか否かを示すフレーム先頭情報と、前記圧縮データの送信が停止された際の終端データであるか否かを示すフレーム終端情報と、前記圧縮データの末尾であるか否かを示すロスレス情報とを前記圧縮データの先頭に付加して送信する、請求項１から５記載の画像送信装置。 The transmitter is
Frame head information indicating whether or not the data packet of the compressed data is the head of the compressed data, and frame end information indicating whether or not the data packet is end data when transmission of the compressed data is stopped; 6. The image transmitting apparatus according to claim 1, wherein lossless information indicating whether or not the end of the compressed data is added to the head of the compressed data and transmitted.
前記動画像の各フレームの圧縮データの一部を先頭から順次を受信する受信部と、
プログレッシブモードか否かを表す再生モードに基づいて、任意のタイミングで受信済みの１フレームの圧縮データの一部を伸張するか、前記圧縮データの全てを受信してから伸張するかを選択し、受信済みの前記圧縮データを伸張する伸張部と、
送信側に再生状態か一時停止状態かを示す再生コマンドを送信するコマンド送信部と
を備え、
前記伝送コマンド送信部が一時停止状態の前記再生コマンドを送信した場合、前記受信部は、受信中の前記圧縮データを全て受信するまでは前記圧縮データの受信を継続し、
前記伸張部は、受信した前記圧縮データの伸張を継続する、画像受信装置。 An image receiving device that receives a moving image from a transmission side,
A receiving unit that sequentially receives a part of the compressed data of each frame of the moving image from the beginning;
Based on the playback mode indicating whether it is a progressive mode or not, select whether to decompress a part of the compressed data of one frame already received at an arbitrary timing, or to decompress after receiving all of the compressed data, A decompression unit for decompressing the received compressed data;
A command transmission unit for transmitting a reproduction command indicating whether the reproduction state or the pause state to the transmission side;
When the transmission command transmission unit transmits the reproduction command in a paused state, the reception unit continues to receive the compressed data until all the compressed data being received is received,
The decompressing unit is an image receiving device that continues decompressing the received compressed data.
前記伸長部は、１フレームの前記圧縮データを全て受信してから伸張し、
前記再生モードがプログレッシブモードである場合、
前記伸長部は、受信済みの前記圧縮データの一部を伸張する、請求項７記載の画像受信装置。 If the playback mode is not progressive mode,
The decompression unit decompresses after receiving all the compressed data of one frame,
When the playback mode is progressive mode,
The image receiving apparatus according to claim 7, wherein the decompressing unit decompresses a part of the received compressed data.
入力された画像を可逆圧縮して、前記画像の圧縮データを得、
前記圧縮データを、複数に分割したデータパケットとして、上位ビット側から順次送信し、
受信側で前記画像の表示が一定時間以上停止するか否かを判定し、
受信側で前記画像の表示が一定時間以上停止すると判定した場合、送信中の前記圧縮データの送信を継続する、
画像送信方法。 An image transmission method for transmitting a compressed moving image to a receiving side,
Reversibly compress the input image to obtain the compressed data of the image,
The compressed data is sequentially transmitted as a data packet divided into a plurality from the upper bit side,
It is determined whether the display of the image is stopped for a certain time or more on the receiving side,
When it is determined that the display of the image is stopped for a certain time or more on the receiving side, the transmission of the compressed data being transmitted is continued.
Image transmission method.
前記動画像の各フレームの圧縮データの一部を先頭から順次を受信し、
プログレッシブモードか否かを表す再生モードに基づいて、任意のタイミングで受信済みの１フレームの圧縮データの一部を伸張するか、前記圧縮データの全てを受信してから伸張するかを選択し、受信済みの前記圧縮データを伸張し、
送信側に再生状態か一時停止状態かを示す再生コマンドを送信し、
一時停止状態の前記再生コマンドを送信した場合、前記受信の際は、受信中の前記圧縮データを全て受信するまでは前記圧縮データの受信を継続し、
前記伸張の際は、受信した前記圧縮データの伸張を継続する、画像受信方法。 An image receiving method for receiving a moving image from a transmission side,
Receive a part of the compressed data of each frame of the moving image sequentially from the beginning,
Based on the playback mode indicating whether it is a progressive mode or not, select whether to decompress a part of the compressed data of one frame already received at an arbitrary timing, or to decompress after receiving all of the compressed data, Decompress the received compressed data,
Send a playback command to the sending side indicating whether playback or pause,
When transmitting the playback command in a pause state, at the time of reception, the reception of the compressed data is continued until all the compressed data being received is received,
An image receiving method in which decompression of the received compressed data is continued during the decompression.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010291250A JP2012138851A (en) | 2010-12-27 | 2010-12-27 | Image transmission device and method, and image receiving device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010291250A JP2012138851A (en) | 2010-12-27 | 2010-12-27 | Image transmission device and method, and image receiving device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012138851A true JP2012138851A (en) | 2012-07-19 |
Family
ID=46675905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010291250A Pending JP2012138851A (en) | 2010-12-27 | 2010-12-27 | Image transmission device and method, and image receiving device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012138851A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014142358A1 (en) * | 2013-03-15 | 2014-09-18 | Ricoh Company, Limited | Distribution control system, distribution control method, and computer-readable storage medium |
| US20210042044A1 (en) * | 2019-07-15 | 2021-02-11 | Amazon Technologies, Inc. | System and method for managing memory compression security |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002199408A (en) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | Moving image coding method and moving image coder |
| JP2003309841A (en) * | 2002-02-12 | 2003-10-31 | Hitachi Kokusai Electric Inc | Moving picture transmission system |
| JP2004032219A (en) * | 2002-06-24 | 2004-01-29 | Monolith Co Ltd | Image display method and device, image distribution method and device |
| JP2008109434A (en) * | 2006-10-26 | 2008-05-08 | Mitsubishi Electric Corp | Stream data reproducing system, transmitter for stream data reproducing system, receiver for stream data reproducing system and program for stream data reproducing system |
| JP2008131321A (en) * | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program and computer readable recording medium with the program recorded thereon |
| JP2008244539A (en) * | 2007-03-26 | 2008-10-09 | Ricoh Co Ltd | Client-server system |
| JP2008252739A (en) * | 2007-03-30 | 2008-10-16 | Sony Corp | Information processing apparatus, method, and program |
-
2010
- 2010-12-27 JP JP2010291250A patent/JP2012138851A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002199408A (en) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | Moving image coding method and moving image coder |
| JP2003309841A (en) * | 2002-02-12 | 2003-10-31 | Hitachi Kokusai Electric Inc | Moving picture transmission system |
| JP2004032219A (en) * | 2002-06-24 | 2004-01-29 | Monolith Co Ltd | Image display method and device, image distribution method and device |
| JP2008109434A (en) * | 2006-10-26 | 2008-05-08 | Mitsubishi Electric Corp | Stream data reproducing system, transmitter for stream data reproducing system, receiver for stream data reproducing system and program for stream data reproducing system |
| JP2008131321A (en) * | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program and computer readable recording medium with the program recorded thereon |
| JP2008244539A (en) * | 2007-03-26 | 2008-10-09 | Ricoh Co Ltd | Client-server system |
| JP2008252739A (en) * | 2007-03-30 | 2008-10-16 | Sony Corp | Information processing apparatus, method, and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014142358A1 (en) * | 2013-03-15 | 2014-09-18 | Ricoh Company, Limited | Distribution control system, distribution control method, and computer-readable storage medium |
| JP2014200076A (en) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | Distribution control system, distribution control method, and program |
| AU2014230438B2 (en) * | 2013-03-15 | 2016-09-29 | Ricoh Company, Limited | Distribution control system, distribution control method, and computer-readable storage medium |
| US9693080B2 (en) | 2013-03-15 | 2017-06-27 | Ricoh Company, Limited | Distribution control system, distribution control method, and computer-readable storage medium |
| US20210042044A1 (en) * | 2019-07-15 | 2021-02-11 | Amazon Technologies, Inc. | System and method for managing memory compression security |
| US11714560B2 (en) * | 2019-07-15 | 2023-08-01 | Amazon Technologies, Inc. | System and method for managing memory compression security |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7051110B2 (en) | Data reception/playback method and apparatus and data transmission method and apparatus for providing playback control functions | |
| JP4949591B2 (en) | Video error recovery method | |
| JPWO2002023908A1 (en) | Network video / audio distribution method, device thereof, and video / audio creation method | |
| JP4347322B2 (en) | Receiving apparatus and method, and program | |
| US8665370B2 (en) | Method for synchronized playback of wireless audio and video and playback system using the same | |
| JP6563424B2 (en) | Stream media data transmission method, client and server | |
| EP2733936A1 (en) | Transmission device, method for controlling transmission device, control program, and recording medium | |
| CN103329521A (en) | Methods, apparatuses and computer program products for pausing video streaming content | |
| EP2413564A1 (en) | Method and apparatus for transmitting and receiving streaming data based on RTSP sessions | |
| WO2018012041A1 (en) | Wireless audio system, wireless speaker, and computer readable program | |
| JP2002342192A (en) | Device and method for processing information, network system, recording medium and program | |
| JP4526294B2 (en) | STREAM DATA TRANSMITTING DEVICE, RECEIVING DEVICE, RECORDING MEDIUM CONTAINING PROGRAM, AND SYSTEM | |
| JP5135147B2 (en) | Video file transmission server and operation control method thereof | |
| JP2012138851A (en) | Image transmission device and method, and image receiving device and method | |
| US8379150B2 (en) | Data transmission method and audio/video system capable of splitting and synchronizing audio/video data | |
| EP3661216A1 (en) | A method and apparatus for loop-playing video content | |
| EP3503563A1 (en) | Computer system and method for synchronous data transmission of multiple data streams | |
| JP6327809B2 (en) | Reception device, control method, and program | |
| JP5488694B2 (en) | Remote mobile communication system, server device, and remote mobile communication system control method | |
| JP4892090B1 (en) | Information transmitting apparatus, information transmitting method, and information transmitting program | |
| JP6146471B2 (en) | Encoding apparatus, encoding method, and encoding program | |
| US11470395B2 (en) | Content distribution system and content distribution method | |
| KR101186422B1 (en) | System and method for service image transmission | |
| JP2007288370A (en) | Video/audio signal processor | |
| JP2009284052A (en) | Transmission and reception system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140905 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141104 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151120 |