JP2023153326A

JP2023153326A - Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method

Info

Publication number: JP2023153326A
Application number: JP2023135546A
Authority: JP
Inventors: 俊一権藤; Shunichi Gondo; 健中條; Takeshi Nakajo
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2019-06-05
Filing date: 2023-08-23
Publication date: 2023-10-17
Also published as: JP2019176500A; JP2022031267A

Abstract

To enable data that is subjected to scalable extension and low-band transmission to be decoded by an existing decoder.SOLUTION: A determination unit determines whether or not a base stream which is a reference of encoding and decoding and relevant to an input image to be shared with a decoding device is stored in a storage unit. If it is determined that the base stream relevant to the input image is stored in the storage unit, a base stream generation unit performs encoding processing on the base stream that is stored in the storage unit, and if it is determined that the base stream relevant to the input image is not stored in the storage unit, generates the base stream by performing encoding processing on the input image. A difference generation unit generates a difference bit stream being the difference between the base stream and the input image. A communication control unit transmits the base stream to the decoding device to share it with the decoding device, and then transmits the difference bit stream to the decoding device.SELECTED DRAWING: Figure 10

Description

本発明の実施の形態は、エンコード装置、エンコードプログラム、及びストリーミングシステムに関する。 Embodiments of the present invention relate to an encoding device, an encoding program, and a streaming system.

今日において、ＨＤＴＶ映像伝送を用い、低ビットレートで４Ｋ解像度等の超解像度の映像に拡張可能なＳＨＶＣエンコード技術（ＨＥＶＣのスケーラブル拡張）が知られている。ＨＤＴＶは、「High-definition television」の略記である。ＳＨＶＣは、「Scalable High-efficiency Video Coding」の略記である。ＨＥＶＣは、「High-efficiency Video Coding」の略記である。 Today, SHVC encoding technology (scalable extension of HEVC) is known that uses HDTV video transmission and can be expanded to super-resolution video such as 4K resolution at a low bit rate. HDTV is an abbreviation for "High-definition television." SHVC is an abbreviation for "Scalable High-efficiency Video Coding." HEVC is an abbreviation for "High-efficiency Video Coding."

このＳＨＶＣエンコード技術は、ＨＥＶＣで用いられていた画面間予測及び画面内予測に加え、ＨＤＴＶ画像から４Ｋ画像を予測するレイヤ間予測を用い、動きによりボケが生じている画像領域に対して割り当てるデータ量を抑え、ピントのあっている動きの少ない画像領域により多くのデータ量を割り当てて主観画質を改善する。また、圧縮困難なノイズ成分を時空間画像処理で予め４Ｋ画像から除去することで、低ビットレートにおける解像度感の低下を抑制する。このため、追加ビットレートを１０Ｍｂｐｓに設定した場合でも、４Ｋ映像の解像度感を維持できる。４Ｋ解像度の映像配信には、例えば３０Ｍｂｐｓ程度のビットレートが必要であったが、ＨＥＶＣエンコード技術を用いることで、必要な追加伝送帯域を１／３の１０Ｍｂｐｓ程度まで低減できる。 In addition to the inter-frame prediction and intra-frame prediction used in HEVC, this SHVC encoding technology uses inter-layer prediction to predict 4K images from HDTV images, and uses data to be allocated to image areas where blurring occurs due to motion. To improve subjective image quality by suppressing the amount of data and allocating more data to in-focus image areas with little movement. Furthermore, noise components that are difficult to compress are removed from the 4K image in advance through spatiotemporal image processing, thereby suppressing a decrease in resolution at low bit rates. Therefore, even when the additional bit rate is set to 10 Mbps, the sense of resolution of 4K video can be maintained. For example, 4K resolution video distribution requires a bit rate of about 30 Mbps, but by using HEVC encoding technology, the required additional transmission band can be reduced to 1/3, about 10 Mbps.

ここで、ＳＨＶＣを用いた狭帯域映像伝送システムでは、送信側と受信側で予め参照画像を共有する。送信側は、参照画像との差分のみをエンコードデータとして送出する。受信側は、受信したエンコードデータを、予め共有しておいた参照画像を用いてデコードして表示する。これにより、エンコードデータは、参照画像との差分のみとなるため、データ量を削減でき、帯域利用効率のよい映像ストリーミングが可能となる。 Here, in a narrowband video transmission system using SHVC, a reference image is shared in advance between the transmitting side and the receiving side. The sending side sends only the difference from the reference image as encoded data. The receiving side decodes the received encoded data using a reference image shared in advance and displays the decoded data. As a result, the encoded data consists of only the difference from the reference image, so the amount of data can be reduced and video streaming with high bandwidth utilization efficiency becomes possible.

しかし、ＳＨＶＣを用いた狭帯域映像伝送システムにおいて、送信側から送信された映像信号を受信側でデコードするためには、受信側でＳＨＶＣ対応の専用デコーダが必要となり、既存のＨＥＶＣデコーダでは再生が困難となる問題があった。 However, in a narrowband video transmission system using SHVC, in order for the receiving side to decode the video signal sent from the transmitting side, a dedicated decoder compatible with SHVC is required on the receiving side, and existing HEVC decoders cannot play it. There was a problem that was difficult.

特開２００５－１１０２４４号公報Japanese Patent Application Publication No. 2005-110244

本発明が解決しようとする課題は、スケーラブル拡張され低ビットレート伝送されるデータを、既存のデコーダでデコード可能とするエンコード装置、エンコードプログラム、及びストリーミングシステムを提供することである。 The problem to be solved by the present invention is to provide an encoding device, an encoding program, and a streaming system that enable an existing decoder to decode data that is scalably expanded and transmitted at a low bit rate.

実施の形態によれば、エンコード装置は、判定部が、エンコード及びデコードの基準であり、デコード装置との間で共有するベースストリームであり、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する。ベースストリーム生成部は、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていると判定された場合、記憶部に記憶されているベースストリームをエンコード処理し、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていないと判定された場合、入力画像をエンコード処理してベースストリームを生成する。差分生成部は、ベースストリーム生成部で生成されたベースストリームと入力画像との差分である差分ビットストリームを生成する。通信制御部は、ベースストリームをデコード装置に送信するように通信部を制御することで、ベースストリームをデコード装置との間で共有すると共に、以後、差分生成部で生成された差分ビットストリームを、デコード装置に送信するように通信部を制御する。 According to the embodiment, in the encoding device, the determining unit is a reference for encoding and decoding and is a base stream shared with the decoding device, and the base stream related to the input image is stored in the storage unit. Determine whether or not the When the determination unit determines that the base stream related to the input image is stored in the storage unit, the base stream generation unit encodes the base stream stored in the storage unit, and the determination unit performs an encoding process on the base stream stored in the storage unit. If it is determined that the base stream related to the input image is not stored in the storage unit, the input image is encoded to generate the base stream. The difference generation unit generates a difference bitstream that is the difference between the base stream generated by the base stream generation unit and the input image. The communication control unit shares the base stream with the decoding device by controlling the communication unit to transmit the base stream to the decoding device, and thereafter, the difference bitstream generated by the difference generation unit, Controls the communication unit to transmit data to the decoding device.

図１は、第１の実施の形態のストリーミングシステムのシステム構成図である。FIG. 1 is a system configuration diagram of a streaming system according to a first embodiment. 図２は、第１の実施の形態のストリーミングシステムに設けられているサーバ装置のハードウェア構成図である。FIG. 2 is a hardware configuration diagram of a server device provided in the streaming system of the first embodiment. 図３は、第１の実施の形態のストリーミングシステムに設けられているクライアント装置のハードウェア構成図である。FIG. 3 is a hardware configuration diagram of a client device provided in the streaming system of the first embodiment. 図４は、サーバ装置のエンコーダの機能ブロック図である。FIG. 4 is a functional block diagram of the encoder of the server device. 図５は、クライアント装置のデコーダの機能ブロック図である。FIG. 5 is a functional block diagram of the decoder of the client device. 図６は、クライアント装置との間で共有するベースストリームの生成動作を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the operation of generating a base stream to be shared with a client device. 図７は、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置に伝送する動作を説明するためのフローチャートである。FIG. 7 is a flowchart for explaining the operation of generating a differential bitstream based on a base stream and transmitting it to a client device. 図８は、サーバ装置から送信されたベースストリームを、クライアント装置で記憶する動作を説明するためのフローチャートである。FIG. 8 is a flowchart for explaining the operation of storing the base stream transmitted from the server device in the client device. 図９は、サーバ装置から送信されたビットストリームをデコードする動作を説明するためのフローチャートである。FIG. 9 is a flowchart for explaining the operation of decoding the bitstream transmitted from the server device. 図１０は、第２の実施の形態のストリーミングシステムのエンコーダの機能ブロック図である。FIG. 10 is a functional block diagram of the encoder of the streaming system according to the second embodiment. 図１１は、第２の実施の形態のストリーミングシステムにおいて、クライアント装置との間で共有するベースストリームの生成動作を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining the operation of generating a base stream to be shared with a client device in the streaming system of the second embodiment. 図１２は、第２の実施の形態のストリーミングシステムにおいて、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置に伝送する動作を説明するためのフローチャートである。FIG. 12 is a flowchart for explaining the operation of generating a differential bitstream based on a base stream and transmitting it to a client device in the streaming system of the second embodiment.

以下、実施の形態のストリーミングシステムを、図面を参照して詳細に説明する。 Hereinafter, a streaming system according to an embodiment will be described in detail with reference to the drawings.

（概要）
実施の形態のストリーミングシステムは、例えば監視用の映像等を送受信するシステムとなっている。送信側のエンコーダは、予め画面パターン毎に、エンコード及びデコードの基準である、例えばイントラピクチャＮＡＬユニット等のベースストリームを予め生成して記憶する。ＮＡＬは、「Network Abstraction Layer」の略記である。生成されたベースストリームは、受信側のデコーダにも記憶され、エンコーダ側とデコーダ側との間でベースストリームが共有される。ベースストリームを受信側のデコーダに記憶させるタイミングは、例えば受信側のデコーダの工場出荷時又は初期セットアップ時に、ベースストリームがデコーダに記憶される。または、ベースストリームは、実際のストリーム伝送時に動的に、非同期又は同期して更新される。 (overview)
The streaming system of the embodiment is, for example, a system for transmitting and receiving video for monitoring purposes. The transmitting encoder generates and stores in advance a base stream such as an intra-picture NAL unit, which is a reference for encoding and decoding, for each screen pattern. NAL is an abbreviation for "Network Abstraction Layer". The generated base stream is also stored in the decoder on the receiving side, and the base stream is shared between the encoder side and the decoder side. The base stream is stored in the decoder on the receiving side, for example, at the time of factory shipment or initial setup of the decoder on the receiving side. Alternatively, the base stream is updated dynamically, asynchronously or synchronously, during actual stream transmission.

入力画面をエンコードする場合、エンコーダは、デコーダ側との間で共有しているベースストリームを用いて入力映像のエンコードを行い、エンコードの状態に基づいて、例えばＰピクチャＮＡＬユニット等の差分ビットストリームを生成する。デコーダに伝送するビットストリームは、差分ビットストリームのみとする。これにより、伝送データ量を削減できる。なお、デコーダに伝送する差分ビットストリームに、ベースストリームを用いたか否かを示す情報を含ませてもよい。 When encoding an input screen, the encoder encodes the input video using the base stream shared with the decoder side, and based on the encoding state, creates a differential bitstream such as a P picture NAL unit. generate. The bitstream to be transmitted to the decoder is only the differential bitstream. This allows the amount of transmitted data to be reduced. Note that the differential bitstream transmitted to the decoder may include information indicating whether or not a base stream is used.

受信側となるデコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて、本来、エンコーダが生成する予定であったストリームと同等（同画質、同解像度）のストリームを再構成する。換言すると、デコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。そして、デコーダは、再構成したストリームをデコードして表示する。これにより、画面転送において、帯域利用効率のよい映像ストリーミングを可能とすることができる。また、専用のデコーダを不要とすることができる。また、トランスコードと比べても再構成の処理量が低減できる。従って、汎用品デコーダチップと安価なＣＰＵで受信装置（デコーダ）を実現でき、ストリーミングシステムのコストダウンを実現できる。 The decoder on the receiving side uses the pre-shared base stream and the received differential bitstream to reconstruct a stream that is equivalent to the stream originally planned to be generated by the encoder (same image quality, same resolution). do. In other words, the decoder reconstructs a bitstream in which a screen corresponding to the differential bitstream is encoded, which is reproduced using the base stream shared in advance and the received differential bitstream. Then, the decoder decodes and displays the reconstructed stream. This makes it possible to perform video streaming with high bandwidth utilization efficiency in screen transfer. Furthermore, a dedicated decoder can be made unnecessary. Furthermore, the amount of processing required for reconstruction can be reduced compared to transcoding. Therefore, a receiving device (decoder) can be realized using a general-purpose decoder chip and an inexpensive CPU, and the cost of the streaming system can be reduced.

（第１の実施の形態）
図１に、第１の実施の形態のストリーミングシステムのシステム構成図を示す。この図１に示すように、第１の実施の形態のストリーミングシステムは、サーバ装置１およびクライアント装置２を有している。サーバ装置１およびクライアント装置２は、インターネット等のネットワーク３を介して相互に接続されている。サーバ装置１は、所定の映像ストリームを、ＳＨＶＣエンコード技術を用いてスケーラブル拡張処理することで、いわゆる４Ｋ映像信号又８Ｋ映像信号等の高解像度の映像信号の高解像度感を維持した状態で低ビットレート化し、ネットワーク３を介して配信する。ＳＨＶＣは、「Scalable High-efficiency Video Coding」の略記である。クライアント装置２は、一般的なＨＥＶＣデコーダとなっており、後述するように特別な構成を備えることなく、ＳＨＶＣエンコードされた映像信号をデコードして再生する。デコードされた映像信号は、モニタ装置に表示され又はレコーダ装置等に記録される。ＨＥＶＣは、「High-efficiency Video Coding」の略記である。 (First embodiment)
FIG. 1 shows a system configuration diagram of a streaming system according to a first embodiment. As shown in FIG. 1, the streaming system of the first embodiment includes a server device 1 and a client device 2. As shown in FIG. The server device 1 and the client device 2 are connected to each other via a network 3 such as the Internet. The server device 1 performs scalable expansion processing on a predetermined video stream using SHVC encoding technology, thereby reducing bits while maintaining the high resolution of a high resolution video signal such as a so-called 4K video signal or 8K video signal. It is converted into a rate and distributed via the network 3. SHVC is an abbreviation for "Scalable High-efficiency Video Coding." The client device 2 is a general HEVC decoder, and decodes and reproduces the SHVC-encoded video signal without any special configuration, as will be described later. The decoded video signal is displayed on a monitor device or recorded on a recorder device or the like. HEVC is an abbreviation for "High-efficiency Video Coding."

図２にサーバ装置１のハードウェア構成図を示す。図２に示すように、サーバ装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ（ハードディスクドライブ）１４及び通信部１５を備える。ＣＰＵ１１～通信部１５は、バスライン１６を介して相互に接続されている。ＣＰＵは、「Central Processing Unit」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＲＡＭは、「Random Access Memory」の略記である。 FIG. 2 shows a hardware configuration diagram of the server device 1. As shown in FIG. 2, the server device 1 includes a CPU 11, a ROM 12, a RAM 13, an HDD (hard disk drive) 14, and a communication section 15. The CPU 11 to the communication section 15 are interconnected via a bus line 16. CPU is an abbreviation for "Central Processing Unit." ROM is an abbreviation for "Read Only Memory." RAM is an abbreviation for "Random Access Memory."

ＨＤＤ１４には、映像ストリームをエンコードするためのエンコードプログラムが記憶されている。ＣＰＵ１１は、エンコードプログラムに従って動作することでエンコーダ１７として機能し、映像ストリームをＳＨＶＣエンコードして配信する。なお、エンコードプログラムは、ＲＯＭ１２又はＲＡＭ１３等の他の記憶部に記憶してもよい。 The HDD 14 stores an encoding program for encoding a video stream. The CPU 11 functions as an encoder 17 by operating according to an encoding program, and SHVC encodes the video stream and distributes it. Note that the encoding program may be stored in another storage unit such as the ROM 12 or the RAM 13.

図３にクライアント装置２のハードウェア構成図を示す。図３に示すように、クライアント装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ（ハードディスクドライブ）２４及び通信部２５を備える。ＣＰＵ２１～通信部２５は、バスライン２６を介して相互に接続されている。 FIG. 3 shows a hardware configuration diagram of the client device 2. As shown in FIG. As shown in FIG. 3, the client device 2 includes a CPU 21, a ROM 22, a RAM 23, an HDD (hard disk drive) 24, and a communication section 25. The CPU 21 to the communication section 25 are interconnected via a bus line 26.

ＨＤＤ２４には、サーバ装置１からＳＨＶＣエンコードされて送信される映像ストリームをデコードするためのデコードプログラムが記憶されている。ＣＰＵ２１は、デコードプログラムに従って動作することでデコーダ２７として機能し、サーバ装置１から受信した映像ストリームをデコードする。なお、デコードプログラムは、ＲＯＭ２２又はＲＡＭ２３等の他の記憶部に記憶してもよい。 The HDD 24 stores a decoding program for decoding a video stream that is SHVC encoded and transmitted from the server device 1. The CPU 21 functions as a decoder 27 by operating according to a decoding program, and decodes the video stream received from the server device 1. Note that the decoding program may be stored in another storage unit such as the ROM 22 or the RAM 23.

この例では、エンコーダ１７及びデコーダ２７はソフトウェア的に実現することとして説明を進める。しかし、エンコーダ１７及びデコーダ２７のうち、全部、いずれか一つ又は複数をＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。 In this example, the description will proceed assuming that the encoder 17 and decoder 27 are realized by software. However, one or more of the encoder 17 and the decoder 27 may be realized by hardware such as an IC (Integrated Circuit).

また、エンコードプログラムおよびデコードプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、エンコードプログラム及びデコードプログラムは、ＣＤ－Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、エンコードプログラム及びデコードプログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、エンコードプログラム及びデコードプログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。 Further, the encoding program and the decoding program may be provided as installable or executable files recorded on a computer readable recording medium such as a CD-ROM or a flexible disk (FD). Further, the encoding program and the decoding program may be provided by being recorded on a computer-readable recording medium such as a CD-R, DVD, Blu-ray Disc (registered trademark), or semiconductor memory. DVD is an abbreviation for "Digital Versatile Disk." Further, the encoding program and the decoding program may be provided in the form of installation via a network such as the Internet. Further, the encoding program and the decoding program may be provided by being pre-installed in a ROM or the like within the device.

図４は、サーバ装置１のエンコーダ１７の機能ブロック図である。エンコーダ１７は、エンコード装置の一例である。この図３に示すように、エンコーダ１７は、事前処理部３１、記憶制御部３２、第１の送信制御部３３、第２のバッファ制御部３４、第２のエンコード部３５、調整部３６、第２の送信制御部３７を有している。事前処理部３１は、第１のバッファ制御部３８及び第１のエンコード部３９を有している。なお、事前処理部３１～第２の送信制御部３７のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。 FIG. 4 is a functional block diagram of the encoder 17 of the server device 1. Encoder 17 is an example of an encoding device. As shown in FIG. 3, the encoder 17 includes a preprocessing section 31, a storage control section 32, a first transmission control section 33, a second buffer control section 34, a second encoding section 35, an adjustment section 36, and a first transmission control section 33. It has two transmission control sections 37. The preprocessing section 31 includes a first buffer control section 38 and a first encoding section 39. Note that, as described above, all or part of the preprocessing section 31 to the second transmission control section 37 may be configured by hardware.

事前処理部３１は、例えば受信側となるクライアント装置２の工場出荷時又は初期セットアップ時等において、上述のベースストリームを予め生成してデコーダに記憶する場合に機能する処理部である。このため、実際のストリーム伝送時に、動的に、非同期又は同期して、デコーダ側のベースストリームを更新する場合には、事前処理部３１は不要となる。また、図４では、事前処理部３１を独立の処理部として図示しているが、第１のバッファ制御部３８を第２のバッファ制御部３４で代用し、第１のエンコード部３９を第２のエンコード部３５で代用することで、事前処理部３１を省略できる。 The preprocessing unit 31 is a processing unit that functions to generate the above-mentioned base stream in advance and store it in the decoder, for example, at the time of factory shipment or initial setup of the client device 2 serving as the receiving side. Therefore, when the base stream on the decoder side is dynamically, asynchronously or synchronously updated during actual stream transmission, the preprocessing unit 31 is not necessary. Further, in FIG. 4, the pre-processing unit 31 is illustrated as an independent processing unit, but the first buffer control unit 38 is replaced by the second buffer control unit 34, and the first encoding unit 39 is replaced by the second By substituting the encoding unit 35, the preprocessing unit 31 can be omitted.

記憶制御部３２は、事前処理部３１で生成され、クライアント装置２（デコーダ２７）の間で共有するベースストリームを、ＲＡＭ１３等の記憶部に記憶制御する。第１の送信制御部３３は、ＲＡＭ１３に記憶されたベースストリームをクライアント装置２に送信するように通信部１５を制御し、デコーダ２７との間でベースストリームを共有する。 The storage control unit 32 controls the storage of the base stream generated by the preprocessing unit 31 and shared between the client devices 2 (decoders 27) in a storage unit such as the RAM 13. The first transmission control unit 33 controls the communication unit 15 to transmit the base stream stored in the RAM 13 to the client device 2, and shares the base stream with the decoder 27.

第２のバッファ制御部３４は、入力される映像ストリーム（入力ビットストリーム）を、ＲＡＭ１３等の記憶部にバッファリング処理する。差分生成部の一例である第２のエンコード部３５は、ＲＡＭ１３に記憶されているベースストリームと、バッファリング処理された映像ストリームとの差分である差分ビットストリームを生成する。これにより、スケーラブル拡張及び低ビットレート化されたビットストリーム（ＳＨＶＣエンコード処理されたビットストリーム）が生成される。 The second buffer control unit 34 buffers the input video stream (input bitstream) in a storage unit such as the RAM 13. The second encoding unit 35, which is an example of a difference generation unit, generates a difference bitstream that is the difference between the base stream stored in the RAM 13 and the buffered video stream. As a result, a bitstream with scalable expansion and reduced bit rate (SHVC encoded bitstream) is generated.

調整部３６は、例えば参照するベースストリームの識別情報又は関連情報を付加することで、差分ビットストリームの調整を行う。通信制御部の一例である第２の送信制御部３７は、調整された差分ビットストリームをクライアント装置２に送信するように通信部１５を制御する。 The adjustment unit 36 adjusts the differential bitstream by, for example, adding identification information or related information of the base stream to be referred to. The second transmission control unit 37, which is an example of a communication control unit, controls the communication unit 15 to transmit the adjusted differential bitstream to the client device 2.

図５は、クライアント装置２のデコーダ２７の機能ブロック図である。デコーダ２７は、デコード装置の一例である。この図５に示すように、デコーダ２７は、調整処理部４１及びデコード処理部４２を有している。調整処理部４１は、第１の受信制御部４３、記憶制御部４４、第２の受信制御部４５及び構成調整部４６を有している。デコード処理部４２は、デコード部４７及びバッファ制御部４８を有している。なお、第１の受信制御部４３～バッファ制御部４８のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。 FIG. 5 is a functional block diagram of the decoder 27 of the client device 2. As shown in FIG. Decoder 27 is an example of a decoding device. As shown in FIG. 5, the decoder 27 includes an adjustment processing section 41 and a decoding processing section 42. The adjustment processing section 41 includes a first reception control section 43 , a storage control section 44 , a second reception control section 45 , and a configuration adjustment section 46 . The decoding processing section 42 includes a decoding section 47 and a buffer control section 48. Note that, as described above, all or part of the first reception control section 43 to buffer control section 48 may be configured by hardware.

第１の受信制御部４３は、上述のように事前に生成され又は動的に更新される、サーバ装置１からのベースストリームを受信するように通信部２５を制御する。記憶制御部４４は、受信したベースストリームをＲＡＭ２３等の記憶部に記憶制御する。第２の受信制御部４５は、サーバ装置１からの差分ビットストリームを受信するように通信部２５を制御する。構成調整部４６は、予め共有しているベースストリームと、受信した差分ストリームを用いて、本来、エンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。 The first reception control unit 43 controls the communication unit 25 to receive the base stream from the server device 1, which is generated in advance or dynamically updated as described above. The storage control unit 44 controls the storage of the received base stream in a storage unit such as the RAM 23. The second reception control unit 45 controls the communication unit 25 to receive the differential bitstream from the server device 1 . The configuration adjustment unit 46 uses the base stream shared in advance and the received difference stream to regenerate a bitstream that is equivalent to the bitstream that was originally planned to be generated by the encoder 17 (same image quality, same resolution). Configure.

デコーダは、再構成されたビットストリームに対して、通常のＨＥＶＣデコード処理を施す。バッファ制御部４８は、デコードされたビットストリームを、ＲＡＭ２３等の記憶部にバッファリング処理し、順次、読み出してモニタ装置又は記録装置等に出力する。 The decoder performs normal HEVC decoding processing on the reconstructed bitstream. The buffer control unit 48 buffers the decoded bitstream in a storage unit such as the RAM 23, and sequentially reads and outputs the decoded bitstream to a monitor device, a recording device, or the like.

次に、図６のフローチャートに、クライアント装置２との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置２の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図４に示す事前処理部３１の第１のバッファ制御部３８が、事前入力されたピクチャ（事前入力ビットストリーム）をＲＡＭ１３にバッファリング処理する。 Next, the flowchart of FIG. 6 shows the flow of the base stream generation operation to be shared with the client device 2. For example, the first buffer control unit 38 of the preprocessing unit 31 shown in FIG. The input picture (pre-input bitstream) is buffered in the RAM 13.

事前入力ピクチャとしては、キャプチャ画像、カメラ入力から得られるピクチャ又は所定の加工処理を施したピクチャ等が用いられる。また、事前入力ピクチャとしては、差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャであることが好ましい。 As the pre-input picture, a captured image, a picture obtained from camera input, a picture subjected to predetermined processing, or the like is used. Further, the pre-input picture is preferably a picture that has an image quality that can be used as a reference picture when generating a difference bitstream, and has high similarity to a picture for which a difference is to be generated.

第１のエンコード部３９は、バッファリング処理された事前入力ピクチャを、ＲＡＭ１３から読み出し、ＳＨＶＣ用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのＩピクチャ単体等が一例として挙げられる。 The first encoding unit 39 reads out the buffered pre-input picture from the RAM 13 and generates a base stream for SHVC. The base stream may be of a single type or of multiple types. Additionally, the base stream may be the entire encoded bitstream or a portion thereof. An example of a partial base stream is a single I picture of an elementary stream.

記憶制御部３２は、図６のフローチャートのステップＳ１において、ベースストリームを取得し、ステップＳ２において、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は（ステップＳ２：Ｙｅｓ）、ステップＳ３に処理が進み、記憶が不要の場合は（ステップＳ２：Ｎｏ）、ステップＳ４に処理が進む。 The storage control unit 32 acquires the base stream in step S1 of the flowchart of FIG. 6, and determines in step S2 whether storage is necessary for adjustment processing such as adding identification information or related information. do. If storage is necessary (step S2: Yes), the process proceeds to step S3, and if storage is not necessary (step S2: No), the process proceeds to step S4.

ステップＳ３では、調整部３６がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を行う。また、ステップＳ３では、記憶制御部３２が、調整処理されたベースストリームを、ＲＡＭ２３に一旦記憶する。 In step S3, the adjustment unit 36 performs adjustment processing such as adding identification information or related information to the base stream. Further, in step S3, the storage control unit 32 temporarily stores the adjusted base stream in the RAM 23.

次に、ステップＳ４では、第１の送信制御部３３が、クライアント装置２に対するベースストリームの出力（伝送）が必要か否か判断する。出力が必要な場合（ステップＳ４：Ｙｅｓ）、第１の送信制御部３３は、ステップＳ５において、ベースストリームをクライアント装置２に伝送するように、通信部１５を制御する。これに対して、出力が不要な場合（ステップＳ４：Ｎｏ）、第１の送信制御部３３は、ベースストリームを伝送することなく、図６のフローチャートの処理を終了する。 Next, in step S4, the first transmission control unit 33 determines whether it is necessary to output (transmit) the base stream to the client device 2. If output is necessary (step S4: Yes), the first transmission control unit 33 controls the communication unit 15 to transmit the base stream to the client device 2 in step S5. On the other hand, if output is not necessary (step S4: No), the first transmission control unit 33 ends the process of the flowchart of FIG. 6 without transmitting the base stream.

第１の送信制御部３３が、ベースストリームをクライアント装置２に送信するタイミングとしては、例えば記憶制御部３２から新たなベースストリームを記憶した旨が通知されたタイミングでよい。または、ユーザ又はシステムからベースストリームの出力指示が供給されたタイミングでよい。または、予め決められたタイミング、又は、クライアント装置２のからの伝送要求時のタイミングでもよい。なお、ベースストリームの伝送速度は任意であり、クライアント装置２の通信回線等に応じて低いビットレートの伝送速度としてもよいし、出力時間を短くするために高いビットレートの伝送速度としてもよい。 The timing at which the first transmission control unit 33 transmits the base stream to the client device 2 may be, for example, the timing at which the storage control unit 32 notifies that a new base stream has been stored. Alternatively, the timing may be the timing when a base stream output instruction is supplied from the user or the system. Alternatively, it may be a predetermined timing or a timing at the time of a transmission request from the client device 2. Note that the transmission speed of the base stream is arbitrary, and may be set to a low bit rate depending on the communication line of the client device 2, or may be set to a high bit rate in order to shorten the output time.

次に、図７のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置２に伝送する動作の流れを示す。ステップＳ１１では、図４に示す第２のバッファ制御部３４が、エンコードを施すピクチャを取得し、ＲＡＭ１３等にバッファリング処理する。ステップＳ１２では、第２のエンコード部３５が、記憶制御部３２を介して、入力されたピクチャをエンコードする際に参照すべきベースストリームがＲＡＭ１３に記憶されているか否かを判別する。 Next, the flowchart of FIG. 7 shows the flow of operations for generating a differential bitstream based on the base stream and transmitting it to the client device 2. In step S11, the second buffer control unit 34 shown in FIG. 4 acquires a picture to be encoded, and buffers it in the RAM 13 or the like. In step S12, the second encoding unit 35 determines, via the storage control unit 32, whether a base stream to be referred to when encoding the input picture is stored in the RAM 13.

参照すべきベースストリームがＲＡＭ１３に記憶されていない場合（ステップＳ１２：Ｎｏ）、第２のエンコード部３５は、ステップＳ１４において、ベースストリームを参照することなく、入力されたピクチャに対してＳＨＶＣエンコードを施し、処理をステップＳ１５に進める。これに対して、参照すべきベースストリームがＲＡＭ１３に記憶されている場合（ステップＳ１２：Ｙｅｓ）、第２のエンコード部３５は、ステップＳ１３において、ベースストリームを参照し、入力されたピクチャとの差分である差分ビットストリームを生成するＳＨＶＣエンコード処理を行い、処理をステップＳ１５に進める。 If the base stream to be referenced is not stored in the RAM 13 (step S12: No), the second encoding unit 35 performs SHVC encoding on the input picture without referring to the base stream in step S14. and the process proceeds to step S15. On the other hand, if the base stream to be referenced is stored in the RAM 13 (step S12: Yes), the second encoding unit 35 refers to the base stream in step S13 and calculates the difference between the input picture and the input picture. SHVC encoding processing is performed to generate a differential bitstream, and the process proceeds to step S15.

ステップＳ１５では、調整部３６が、ＳＨＶＣエンコード処理により生成された差分ビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップＳ１６では、記憶制御部３２が、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶するか否かを判別する。記憶する場合は（ステップＳ１６：Ｙｅｓ）、記憶制御部３２は、ステップＳ１７において、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶する。この際、記憶制御部３２は、新たに生成されたビットストリームをＲＡＭ１３に記憶し、又は、ＲＡＭ１３に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部３２は、ＲＡＭ１３に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合（ステップＳ１６：Ｎｏ）、処理は、ステップＳ１８に進む。 In step S15, the adjustment unit 36 performs an adjustment process of adding identification information or related information of the base stream to be referenced to the differential bitstream etc. generated by the SHVC encoding process. In step S16, the storage control unit 32 determines whether the bitstream generated by the SHVC encoding process is to be stored in the RAM 13. If stored (step S16: Yes), the storage control unit 32 stores the bitstream generated by the SHVC encoding process in the RAM 13 in step S17. At this time, the storage control unit 32 stores the newly generated bitstream in the RAM 13, or updates the bitstream stored in the RAM 13 with the new bitstream. Alternatively, the storage control unit 32 stores only the difference between the bitstream stored in the RAM 13 and the new bitstream. Note that if such storage processing is unnecessary (step S16: No), the process proceeds to step S18.

ステップＳ１８では、第２の送信制御部３７が、差分ビットストリーム等をクライアント装置２に送信するように通信部１５を制御して、図７のフローチャートの処理を終了する。第１の実施の形態のストリーミングシステムの場合、最初にベースストリームをクライアント装置２に送信しておき、後は、ベースストリームとの差分である差分ビットストリームのみをクライアント装置２に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる。 In step S18, the second transmission control unit 37 controls the communication unit 15 to transmit the differential bitstream and the like to the client device 2, and ends the process of the flowchart in FIG. In the case of the streaming system of the first embodiment, the base stream is first transmitted to the client device 2, and then only the differential bitstream that is the difference from the base stream is transmitted to the client device 2. This makes it possible to lower the bit rate and effectively utilize the transmission band.

次に、図８のフローチャートに、サーバ装置１から送信されたベースストリームを、クライアント装置２側で記憶する動作の流れを示す。ステップＳ２１では、図５に示す第１の受信制御部４３が、サーバ装置１から送信されたベースストリームを取得するように、通信部２５を制御する。ステップＳ２２では、記憶制御部４４が、取得したベースストリームは、記憶の必要があるか否かを判別する。 Next, the flowchart of FIG. 8 shows the flow of operations for storing the base stream transmitted from the server device 1 on the client device 2 side. In step S21, the first reception control unit 43 shown in FIG. 5 controls the communication unit 25 to acquire the base stream transmitted from the server device 1. In step S22, the storage control unit 44 determines whether the acquired base stream needs to be stored.

具体的には、記憶制御部４４は、ユーザ又はシステムからベースストリームの出力処理が指示されている場合、又は、予め予め決められたタイミングである場合に、取得したベースストリームをＲＡＭ２３等の記憶部に記憶する。または、記憶制御部４４は、サーバ装置１から記憶が指示されている場合、及び、構成調整部４６から記憶が指示されている場合等に、取得したベースストリームをＲＡＭ２３等の記憶部に記憶する。なお、ベースストリームの入力速度は任意であり、サーバ装置１の通信回線等に応じて低いビットレートの入力速度としてもよいし、入力時間を短くするために高いビットレートの入力速度としてもよい。 Specifically, the storage control unit 44 stores the acquired base stream in a storage unit such as the RAM 23 when output processing of the base stream is instructed by the user or the system, or at a predetermined timing. to be memorized. Alternatively, the storage control unit 44 stores the acquired base stream in a storage unit such as the RAM 23 when storage is instructed by the server device 1, storage is instructed from the configuration adjustment unit 46, etc. . Note that the input speed of the base stream is arbitrary, and may be set to a low bit rate depending on the communication line of the server device 1, or may be set to a high bit rate to shorten the input time.

ステップＳ２２において、記憶が必要であると判別された場合、ステップＳ２３において、記憶制御部４４は、取得したベースストリームをＲＡＭ２３に記憶制御する。これにより、サーバ装置１とクライアント装置２との間でベースストリームが共有される。なお、ステップＳ２２において、記憶が不要であると判別された場合、記憶制御部４４は、そのまま図８のフローチャートの処理を終了する。 If it is determined in step S22 that storage is necessary, the storage control unit 44 controls storage of the acquired base stream in the RAM 23 in step S23. As a result, the base stream is shared between the server device 1 and the client device 2. Note that if it is determined in step S22 that storage is not necessary, the storage control unit 44 directly ends the process of the flowchart of FIG. 8.

次に、図９のフローチャートに、サーバ装置１から送信されたビットストリームをデコードする流れを示す。ステップＳ３１では、第２の受信制御部４５が、サーバ装置１から伝送されるビットストリームを取得するように通信部２５を制御する。ステップＳ３２では、構成調整部４６が、ビットストリームのデコードにベースストリームが必要か否かを判別する。 Next, the flowchart of FIG. 9 shows the flow of decoding the bitstream transmitted from the server device 1. In step S31, the second reception control unit 45 controls the communication unit 25 to acquire the bitstream transmitted from the server device 1. In step S32, the configuration adjustment unit 46 determines whether a base stream is necessary for decoding the bitstream.

ベースストリームが必要である場合（ステップＳ３２：Ｙｅｓ）、構成調整部４６は、ステップＳ３３において、ＲＡＭ２３に予め記憶されているベースストリームを取得して、処理をステップＳ３４に進める。これに対して、ベースストリームが不要である場合（ステップＳ３２：Ｎｏ）、構成調整部４６は、ステップＳ３４に処理を進める。 If the base stream is necessary (step S32: Yes), the configuration adjustment unit 46 acquires the base stream stored in advance in the RAM 23 in step S33, and advances the process to step S34. On the other hand, if the base stream is not required (step S32: No), the configuration adjustment unit 46 advances the process to step S34.

ステップＳ３４では、構成調整部４６が、予め共有しているベースストリームと、受信した後続の差分ビットストリームを用いて、本来、サーバ装置１のエンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。換言すると、構成調整部４６は、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。ステップＳ３５では、デコード部４７が、再構成されたビットストリームに対して、通常のＨＥＶＣデコード処理を施してデコードする。そして、バッファ制御部が、デコードされたビットストリームをＲＡＭ２３に一旦記憶し、順次、読み出してモニタ装置又は記録装置等に出力する。 In step S34, the configuration adjustment unit 46 uses the pre-shared base stream and the received subsequent differential bitstream to create a bitstream that is equivalent to the bitstream that was originally planned to be generated by the encoder 17 of the server device 1 ( Reconstruct the bitstream with the same image quality and resolution). In other words, the configuration adjustment unit 46 reconstructs a bitstream in which a screen corresponding to the differential bitstream is encoded, which is reproduced using the base stream shared in advance and the received differential bitstream. In step S35, the decoding unit 47 performs normal HEVC decoding processing on the reconstructed bitstream to decode it. Then, the buffer control unit temporarily stores the decoded bitstream in the RAM 23, sequentially reads it out, and outputs it to a monitor device, a recording device, or the like.

このような第１の実施の形態のストリーミングシステムは、ビットストリームの転送において、帯域利用効率のよいストリーミングを可能とすることができる。また、ＳＨＶＣ専用のデコーダを用いなくても、通常のＨＥＶＣデコーダで、ＳＨＶＣエンコード処理されたビットストリームのデコードを行うことができる。また、トランスコードと比べても再構成の処理量を低減できる。従って、汎用デコーダチップと安価なＣＰＵでクライアント装置２を実現でき、ストリーミングシステムのコストダウンを実現できる。 The streaming system according to the first embodiment can perform streaming with high bandwidth efficiency in bitstream transfer. Furthermore, a bitstream subjected to SHVC encoding can be decoded using a normal HEVC decoder without using a dedicated SHVC decoder. Furthermore, the amount of processing required for reconstruction can be reduced compared to transcoding. Therefore, the client device 2 can be implemented using a general-purpose decoder chip and an inexpensive CPU, and the cost of the streaming system can be reduced.

（第２の実施の形態）
次に、第２の実施の形態のストリーミングシステムの説明をする。上述の第１の実施の形態ストリーミングシステムが、動画像のビットストリームを伝送する例であるのに対し、この第２の実施の形態のストリーミングシステムは、静止画像（ピクチャ）のビットストリームを伝送する例である。なお、第１の実施の形態と第２の実施の形態とでは、この点のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。 (Second embodiment)
Next, a streaming system according to a second embodiment will be explained. The streaming system according to the first embodiment described above is an example of transmitting a bitstream of a moving image, whereas the streaming system according to the second embodiment transmits a bitstream of a still image (picture). This is an example. Note that the first embodiment and the second embodiment differ only in this point. Therefore, only the differences will be explained below, and duplicate explanations will be omitted.

図１０は、第２の実施の形態のストリーミングシステムのエンコーダ１７の機能ブロック図である。この図１０において、図４と同じ動作を示す箇所には同じ符号を付してある。第２の実施の形態のストリーミングシステムのエンコーダ１７は、図１０に示すように、図４の各機能に加え、第１のバッファ制御部３８及び第２のバッファ制御部３４によりバッファリング処理されたピクチャを、ＲＡＭ１３に記憶制御するピクチャ記憶制御部５１を有している。また、ＲＡＭ１３に記憶されたピクチャのうち、エンコードするピクチャを判定（選別）する判定部５２を有している。 FIG. 10 is a functional block diagram of the encoder 17 of the streaming system according to the second embodiment. In FIG. 10, parts showing the same operations as in FIG. 4 are given the same reference numerals. As shown in FIG. 10, the encoder 17 of the streaming system of the second embodiment has the functions shown in FIG. It has a picture storage control section 51 that controls storage of pictures in the RAM 13. It also includes a determining unit 52 that determines (selects) pictures to be encoded from among the pictures stored in the RAM 13.

図１１のフローチャートに、クライアント装置２との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置２の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図１０に示す事前処理部３１の第１のバッファ制御部３８が、ステップＳ４１において、事前入力されたピクチャ（事前入力ピクチャ）をバッファリング処理する。 The flowchart in FIG. 11 shows the flow of the base stream generation operation to be shared with the client device 2. For example, the first buffer control unit 38 of the preprocessing unit 31 shown in FIG. In S41, a pre-input picture (pre-input picture) is buffered.

ステップＳ４２では、ピクチャ記憶制御部５１が、判定部５２と連携し、事前入力ピクチャは、記憶が必要か否かを判別する。記憶が必要な場合（ステップＳ４１：Ｙｅｓ）、ピクチャ記憶制御部５１は、ステップＳ４３において、事前入力ピクチャをＲＡＭ１３に記憶制御して、処理をステップＳ４４に進める。これに対して、記憶が不要な場合（ステップＳ４１：Ｎｏ）、ピクチャ記憶制御部５１は、処理をステップＳ４４に処理を進める。 In step S42, the picture storage control unit 51 cooperates with the determination unit 52 to determine whether or not the pre-input picture needs to be stored. If storage is necessary (step S41: Yes), the picture storage control unit 51 controls the storage of the pre-input picture in the RAM 13 in step S43, and advances the process to step S44. On the other hand, if storage is not necessary (step S41: No), the picture storage control unit 51 advances the process to step S44.

ステップＳ４４では、第１のエンコード部３９が、ＲＡＭ１３から事前入力ピクチャを読み出し、ＳＨＶＣ用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのＩピクチャ単体等が一例として挙げられる。 In step S44, the first encoding unit 39 reads the pre-input picture from the RAM 13 and generates a base stream for SHVC. The base stream may be of a single type or of multiple types. Additionally, the base stream may be the entire encoded bitstream or a portion thereof. An example of a partial base stream is a single I picture of an elementary stream.

次に、記憶制御部３２は、ステップＳ４５において、ベースストリームは、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は（ステップＳ４５：Ｙｅｓ）、ステップＳ４６に処理が進み、記憶が不要の場合は（ステップＳ４５：Ｎｏ）、ステップＳ４７に処理が進む。 Next, in step S45, the storage control unit 32 determines whether the base stream needs to be stored for adjustment processing such as adding identification information or related information. If storage is necessary (step S45: Yes), the process proceeds to step S46, and if storage is not necessary (step S45: No), the process proceeds to step S47.

ステップＳ４６では、記憶制御部３２が、ベースストリームをＲＡＭ１３に記憶制御すると共に、必要に応じて、調整部３６がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を施す。そして、ステップＳ４７において、第１の送信制御部３３が、クライアント装置２にベースストリーム伝送するように、通信部１５を制御して、図６のフローチャートの処理が終了する。これにより、サーバ装置１とクライアント装置２との間でベースストリームが共有される。 In step S46, the storage control unit 32 controls the storage of the base stream in the RAM 13, and the adjustment unit 36 performs adjustment processing such as adding identification information or related information to the base stream as necessary. Then, in step S47, the first transmission control unit 33 controls the communication unit 15 to transmit the base stream to the client device 2, and the process of the flowchart in FIG. 6 ends. As a result, the base stream is shared between the server device 1 and the client device 2.

次に、図１２のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置２に伝送する動作の流れを示す。ステップＳ５１では、図１０に示す第２のバッファ制御部３４が、エンコードを施す入力ピクチャを取得し、ＲＡＭ１３等にバッファリング処理する。ステップＳ５２では、ピクチャ記憶制御部５１が判定部５２と連携し、入力ピクチャに関連する、参照すべきピクチャ（ベースストリーム）は存在するか否か（ＲＡＭ１３に記憶されているか否か）を判別する。 Next, the flowchart in FIG. 12 shows the flow of operations for generating a differential bitstream based on the base stream and transmitting it to the client device 2. In step S51, the second buffer control unit 34 shown in FIG. 10 acquires an input picture to be encoded, and buffers it in the RAM 13 or the like. In step S52, the picture storage control unit 51 cooperates with the determination unit 52 to determine whether there is a picture (base stream) to be referred to that is related to the input picture (whether or not it is stored in the RAM 13). .

参照すべきピクチャが存在する場合（ステップＳ５２：Ｙｅｓ）、第２のエンコード部３５は、入力ピクチャの代わりに、参照すべきピクチャをＳＨＶＣエンコードし、ベースストリームを生成する。これに対して、参照すべきピクチャが存在しない場合（ステップＳ５２：Ｎｏ）、第２のエンコード部３５は、入力ピクチャをＳＨＶＣエンコードし、ベースストリームを生成する。なお、ピクチャ記憶制御部５１は、エンコードするピクチャを判定する判定部５２と連携し、入力ピクチャの記憶が必要か否かを判別し、必要な場合は入力ピクチャをＲＡＭ１３等に記憶してもよい。 If there is a picture to be referred to (step S52: Yes), the second encoding unit 35 performs SHVC encoding on the picture to be referred to instead of the input picture, and generates a base stream. On the other hand, if there is no picture to refer to (step S52: No), the second encoding unit 35 performs SHVC encoding on the input picture and generates a base stream. Note that the picture storage control unit 51 cooperates with a determination unit 52 that determines a picture to be encoded, determines whether or not it is necessary to store an input picture, and if necessary, may store the input picture in the RAM 13 or the like. .

次に、ステップＳ５５では、調整部３６が、ＳＨＶＣエンコードにより生成されたビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップＳ５６では、記憶制御部３２が、ＳＨＶＣエンコードで生成したビットストリームを、ＲＡＭ１３に記憶するか否かを判別する。記憶する場合は（ステップＳ５６：Ｙｅｓ）、記憶制御部３２は、ステップＳ５７において、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶する。この際、記憶制御部３２は、新たに生成されたビットストリームをＲＡＭ１３に記憶し、又は、ＲＡＭ１３に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部３２は、ＲＡＭ１３に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合（ステップＳ５６：Ｎｏ）、処理は、ステップＳ５８に進む。 Next, in step S55, the adjustment unit 36 performs adjustment processing to add identification information or related information of the base stream to be referenced to the bitstream etc. generated by SHVC encoding. In step S56, the storage control unit 32 determines whether the bitstream generated by SHVC encoding is to be stored in the RAM 13. If stored (step S56: Yes), the storage control unit 32 stores the bitstream generated by the SHVC encoding process in the RAM 13 in step S57. At this time, the storage control unit 32 stores the newly generated bitstream in the RAM 13, or updates the bitstream stored in the RAM 13 with the new bitstream. Alternatively, the storage control unit 32 stores only the difference between the bitstream stored in the RAM 13 and the new bitstream. Note that if such storage processing is unnecessary (step S56: No), the process proceeds to step S58.

ステップＳ５８では、第２の送信制御部３７が、ビットストリーム等をクライアント装置２に送信するように通信部１５を制御して、図１２のフローチャートの処理を終了する。第２の実施の形態のストリーミングシステムの場合も、最初に参照ピクチャであるベースストリームをクライアント装置２に送信しておき、後は、ベースストリームとの差分である差分ピクチャのみをクライアント装置２に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる等、上述の第１の実施の形態と同じ効果を得ることができる。 In step S58, the second transmission control section 37 controls the communication section 15 to transmit the bitstream and the like to the client device 2, and ends the process of the flowchart of FIG. 12. Also in the case of the streaming system of the second embodiment, the base stream, which is a reference picture, is first transmitted to the client device 2, and then only the difference picture, which is the difference from the base stream, is transmitted to the client device 2. do. This makes it possible to achieve the same effects as the first embodiment described above, such as lowering the bit rate and making effective use of the transmission band.

なお、この第２の実施の形態の場合も、クライアント装置２のデコーダ２７は、予め記憶しておいたベースストリーム及び受信した入力ピクチャを用いて、本来、エンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。そして、デコーダ２７は、再構成したストリームを再生して表示等を行う。 Note that also in the case of this second embodiment, the decoder 27 of the client device 2 uses the pre-stored base stream and the received input picture to decode the bits that were originally planned to be generated by the encoder 17. Reconstruct a bitstream that is equivalent to the stream (same image quality, same resolution). Then, the decoder 27 reproduces and displays the reconstructed stream.

本発明の実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

１サーバ装置
２クライアント装置
３ネットワーク
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４ＨＤＤ
１５通信部
１７エンコーダ
２１ＣＰＵ
２２ＲＯＭ
２３ＲＡＭ
２４ＨＤＤ
２５通信部
２７デコーダ
３１事前処理部
３２記憶制御部
３３第１の送信制御部
３４第２のバッファ制御部
３５第２のエンコード部
３６調整部
３７第２の送信制御部
３９エンコード部
３８第１のバッファ制御部
４１調整処理部
４２デコード処理部
４３第１の受信制御部
４４記憶制御部
４５第２の受信制御部
４６構成調整部
４７デコード部
４８バッファ制御部
５１ピクチャ記憶制御部
５２判定部 1 Server device 2 Client device 3 Network 11 CPU
12 ROM
13 RAM
14 HDD
15 Communication section 17 Encoder 21 CPU
22 ROM
23 RAM
24 HDD
25 communication unit 27 decoder 31 preprocessing unit 32 storage control unit 33 first transmission control unit 34 second buffer control unit 35 second encoding unit 36 adjustment unit 37 second transmission control unit 39 encoding unit 38 first Buffer control unit 41 Adjustment processing unit 42 Decoding processing unit 43 First reception control unit 44 Storage control unit 45 Second reception control unit 46 Configuration adjustment unit 47 Decoding unit 48 Buffer control unit 51 Picture storage control unit 52 Determination unit

Claims

デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成部と、
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコード装置。 a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with a decoding device and an input image;
a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Encoding device.

前記通信制御部は、前記事前入力ピクチャに基づいて生成されるビットストリームは前記デコード装置に送信せず、前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように前記通信部を制御する、
請求項１に記載のエンコード装置。 The communication control unit may transmit the difference bitstream generated by the difference generation unit to the decoding device without transmitting the bitstream generated based on the pre-input picture to the decoding device. controlling the communication unit;
The encoding device according to claim 1.

前記差分ビットストリームに、参照する前記ベースストリームの識別情報を付加する調整部を、さらに備える
請求項１に記載のエンコード装置。 The encoding device according to claim 1, further comprising an adjustment unit that adds identification information of the referenced base stream to the differential bitstream.

エンコード装置が実行するエンコード方法であって、
デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成ステップと、
前記差分生成ステップで生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御ステップと、含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコード方法。 An encoding method performed by an encoding device, the encoding method comprising:
a difference generation step of generating a difference bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control step of controlling a communication unit to transmit the difference bitstream generated in the difference generation step to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Encoding method.

コンピュータを、
デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成部と、
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、として機能させ、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコードプログラム。 computer,
a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with a decoding device and an input image;
functioning as a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
encoding program.

エンコード装置との間で予め共有するベースストリームと、前記ベースストリームと入力画像との差分であり、前記エンコード装置から送信される差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整部と、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、を有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコード装置。 The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment unit that reconfigures a bitstream equivalent to the bitstream that was created;
a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
decoding device.

デコード装置が実行するデコード方法であって、
エンコード装置との間で予め共有するベースストリームと、前記ベースストリームと入力画像との差分であり、前記エンコード装置から送信される差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整ステップと、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコードステップと、を含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコード方法。 A decoding method performed by a decoding device, the method comprising:
The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment step of reconstructing a bitstream equivalent to the bitstream that was created;
a decoding step of performing a decoding process corresponding to the encoding process applied to the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Decoding method.

コンピュータを、
エンコード装置との間で予め共有するベースストリームと、前記ベースストリームと入力画像との差分であり、前記エンコード装置から送信される差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整部と、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、として機能させ、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコードプログラム。 computer,
The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment unit that reconfigures a bitstream equivalent to the bitstream that was created;
functioning as a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
decoding program.

エンコード装置と、デコード装置と、を備えるストリーミングシステムであって、
前記エンコード装置は、
前記デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成部と、
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、有し、
前記デコード装置は、
前記ベースストリームと、前記エンコード装置から送信される前記差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整部と、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、を有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
ストリーミングシステム。 A streaming system comprising an encoding device and a decoding device,
The encoding device includes:
a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The decoding device includes:
a configuration adjustment unit that uses the base stream and the differential bitstream transmitted from the encoding device to reconstruct a bitstream equivalent to the bitstream that was planned to be generated by the encoding device;
a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
streaming system.

エンコード装置と、デコード装置と、を備えるストリーミングシステムで実行されるストリーミング方法であって、
前記エンコード装置が、前記デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成ステップと、
前記エンコード装置が、前記差分生成ステップで生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御ステップと、
前記デコード装置が、前記ベースストリームと、前記エンコード装置から送信される前記差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整ステップと、
前記デコード装置が、再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコードステップと、を含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
ストリーミング方法。 A streaming method performed in a streaming system comprising an encoding device and a decoding device, the method comprising:
a difference generation step in which the encoding device generates a differential bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control step in which the encoding device controls a communication unit to transmit the difference bitstream generated in the difference generation step to the decoding device;
A configuration adjustment in which the decoding device uses the base stream and the differential bitstream transmitted from the encoding device to reconstruct a bitstream equivalent to the bitstream that the encoding device was scheduled to generate. step and
a decoding step in which the decoding device performs a decoding process corresponding to an encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Streaming method.