JP2023153326A - Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method - Google Patents
Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method Download PDFInfo
- Publication number
- JP2023153326A JP2023153326A JP2023135546A JP2023135546A JP2023153326A JP 2023153326 A JP2023153326 A JP 2023153326A JP 2023135546 A JP2023135546 A JP 2023135546A JP 2023135546 A JP2023135546 A JP 2023135546A JP 2023153326 A JP2023153326 A JP 2023153326A
- Authority
- JP
- Japan
- Prior art keywords
- bitstream
- difference
- image
- base stream
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000004891 communication Methods 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 abstract description 29
- 238000012545 processing Methods 0.000 abstract description 28
- 239000000872 buffer Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明の実施の形態は、エンコード装置、エンコードプログラム、及びストリーミングシステムに関する。 Embodiments of the present invention relate to an encoding device, an encoding program, and a streaming system.
今日において、HDTV映像伝送を用い、低ビットレートで4K解像度等の超解像度の映像に拡張可能なSHVCエンコード技術(HEVCのスケーラブル拡張)が知られている。HDTVは、「High-definition television」の略記である。SHVCは、「Scalable High-efficiency Video Coding」の略記である。HEVCは、「High-efficiency Video Coding」の略記である。 Today, SHVC encoding technology (scalable extension of HEVC) is known that uses HDTV video transmission and can be expanded to super-resolution video such as 4K resolution at a low bit rate. HDTV is an abbreviation for "High-definition television." SHVC is an abbreviation for "Scalable High-efficiency Video Coding." HEVC is an abbreviation for "High-efficiency Video Coding."
このSHVCエンコード技術は、HEVCで用いられていた画面間予測及び画面内予測に加え、HDTV画像から4K画像を予測するレイヤ間予測を用い、動きによりボケが生じている画像領域に対して割り当てるデータ量を抑え、ピントのあっている動きの少ない画像領域により多くのデータ量を割り当てて主観画質を改善する。また、圧縮困難なノイズ成分を時空間画像処理で予め4K画像から除去することで、低ビットレートにおける解像度感の低下を抑制する。このため、追加ビットレートを10Mbpsに設定した場合でも、4K映像の解像度感を維持できる。4K解像度の映像配信には、例えば30Mbps程度のビットレートが必要であったが、HEVCエンコード技術を用いることで、必要な追加伝送帯域を1/3の10Mbps程度まで低減できる。 In addition to the inter-frame prediction and intra-frame prediction used in HEVC, this SHVC encoding technology uses inter-layer prediction to predict 4K images from HDTV images, and uses data to be allocated to image areas where blurring occurs due to motion. To improve subjective image quality by suppressing the amount of data and allocating more data to in-focus image areas with little movement. Furthermore, noise components that are difficult to compress are removed from the 4K image in advance through spatiotemporal image processing, thereby suppressing a decrease in resolution at low bit rates. Therefore, even when the additional bit rate is set to 10 Mbps, the sense of resolution of 4K video can be maintained. For example, 4K resolution video distribution requires a bit rate of about 30 Mbps, but by using HEVC encoding technology, the required additional transmission band can be reduced to 1/3, about 10 Mbps.
ここで、SHVCを用いた狭帯域映像伝送システムでは、送信側と受信側で予め参照画像を共有する。送信側は、参照画像との差分のみをエンコードデータとして送出する。受信側は、受信したエンコードデータを、予め共有しておいた参照画像を用いてデコードして表示する。これにより、エンコードデータは、参照画像との差分のみとなるため、データ量を削減でき、帯域利用効率のよい映像ストリーミングが可能となる。 Here, in a narrowband video transmission system using SHVC, a reference image is shared in advance between the transmitting side and the receiving side. The sending side sends only the difference from the reference image as encoded data. The receiving side decodes the received encoded data using a reference image shared in advance and displays the decoded data. As a result, the encoded data consists of only the difference from the reference image, so the amount of data can be reduced and video streaming with high bandwidth utilization efficiency becomes possible.
しかし、SHVCを用いた狭帯域映像伝送システムにおいて、送信側から送信された映像信号を受信側でデコードするためには、受信側でSHVC対応の専用デコーダが必要となり、既存のHEVCデコーダでは再生が困難となる問題があった。 However, in a narrowband video transmission system using SHVC, in order for the receiving side to decode the video signal sent from the transmitting side, a dedicated decoder compatible with SHVC is required on the receiving side, and existing HEVC decoders cannot play it. There was a problem that was difficult.
本発明が解決しようとする課題は、スケーラブル拡張され低ビットレート伝送されるデータを、既存のデコーダでデコード可能とするエンコード装置、エンコードプログラム、及びストリーミングシステムを提供することである。 The problem to be solved by the present invention is to provide an encoding device, an encoding program, and a streaming system that enable an existing decoder to decode data that is scalably expanded and transmitted at a low bit rate.
実施の形態によれば、エンコード装置は、判定部が、エンコード及びデコードの基準であり、デコード装置との間で共有するベースストリームであり、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する。ベースストリーム生成部は、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていると判定された場合、記憶部に記憶されているベースストリームをエンコード処理し、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていないと判定された場合、入力画像をエンコード処理してベースストリームを生成する。差分生成部は、ベースストリーム生成部で生成されたベースストリームと入力画像との差分である差分ビットストリームを生成する。通信制御部は、ベースストリームをデコード装置に送信するように通信部を制御することで、ベースストリームをデコード装置との間で共有すると共に、以後、差分生成部で生成された差分ビットストリームを、デコード装置に送信するように通信部を制御する。 According to the embodiment, in the encoding device, the determining unit is a reference for encoding and decoding and is a base stream shared with the decoding device, and the base stream related to the input image is stored in the storage unit. Determine whether or not the When the determination unit determines that the base stream related to the input image is stored in the storage unit, the base stream generation unit encodes the base stream stored in the storage unit, and the determination unit performs an encoding process on the base stream stored in the storage unit. If it is determined that the base stream related to the input image is not stored in the storage unit, the input image is encoded to generate the base stream. The difference generation unit generates a difference bitstream that is the difference between the base stream generated by the base stream generation unit and the input image. The communication control unit shares the base stream with the decoding device by controlling the communication unit to transmit the base stream to the decoding device, and thereafter, the difference bitstream generated by the difference generation unit, Controls the communication unit to transmit data to the decoding device.
以下、実施の形態のストリーミングシステムを、図面を参照して詳細に説明する。 Hereinafter, a streaming system according to an embodiment will be described in detail with reference to the drawings.
(概要)
実施の形態のストリーミングシステムは、例えば監視用の映像等を送受信するシステムとなっている。送信側のエンコーダは、予め画面パターン毎に、エンコード及びデコードの基準である、例えばイントラピクチャNALユニット等のベースストリームを予め生成して記憶する。NALは、「Network Abstraction Layer」の略記である。生成されたベースストリームは、受信側のデコーダにも記憶され、エンコーダ側とデコーダ側との間でベースストリームが共有される。ベースストリームを受信側のデコーダに記憶させるタイミングは、例えば受信側のデコーダの工場出荷時又は初期セットアップ時に、ベースストリームがデコーダに記憶される。または、ベースストリームは、実際のストリーム伝送時に動的に、非同期又は同期して更新される。
(overview)
The streaming system of the embodiment is, for example, a system for transmitting and receiving video for monitoring purposes. The transmitting encoder generates and stores in advance a base stream such as an intra-picture NAL unit, which is a reference for encoding and decoding, for each screen pattern. NAL is an abbreviation for "Network Abstraction Layer". The generated base stream is also stored in the decoder on the receiving side, and the base stream is shared between the encoder side and the decoder side. The base stream is stored in the decoder on the receiving side, for example, at the time of factory shipment or initial setup of the decoder on the receiving side. Alternatively, the base stream is updated dynamically, asynchronously or synchronously, during actual stream transmission.
入力画面をエンコードする場合、エンコーダは、デコーダ側との間で共有しているベースストリームを用いて入力映像のエンコードを行い、エンコードの状態に基づいて、例えばPピクチャNALユニット等の差分ビットストリームを生成する。デコーダに伝送するビットストリームは、差分ビットストリームのみとする。これにより、伝送データ量を削減できる。なお、デコーダに伝送する差分ビットストリームに、ベースストリームを用いたか否かを示す情報を含ませてもよい。 When encoding an input screen, the encoder encodes the input video using the base stream shared with the decoder side, and based on the encoding state, creates a differential bitstream such as a P picture NAL unit. generate. The bitstream to be transmitted to the decoder is only the differential bitstream. This allows the amount of transmitted data to be reduced. Note that the differential bitstream transmitted to the decoder may include information indicating whether or not a base stream is used.
受信側となるデコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて、本来、エンコーダが生成する予定であったストリームと同等(同画質、同解像度)のストリームを再構成する。換言すると、デコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。そして、デコーダは、再構成したストリームをデコードして表示する。これにより、画面転送において、帯域利用効率のよい映像ストリーミングを可能とすることができる。また、専用のデコーダを不要とすることができる。また、トランスコードと比べても再構成の処理量が低減できる。従って、汎用品デコーダチップと安価なCPUで受信装置(デコーダ)を実現でき、ストリーミングシステムのコストダウンを実現できる。 The decoder on the receiving side uses the pre-shared base stream and the received differential bitstream to reconstruct a stream that is equivalent to the stream originally planned to be generated by the encoder (same image quality, same resolution). do. In other words, the decoder reconstructs a bitstream in which a screen corresponding to the differential bitstream is encoded, which is reproduced using the base stream shared in advance and the received differential bitstream. Then, the decoder decodes and displays the reconstructed stream. This makes it possible to perform video streaming with high bandwidth utilization efficiency in screen transfer. Furthermore, a dedicated decoder can be made unnecessary. Furthermore, the amount of processing required for reconstruction can be reduced compared to transcoding. Therefore, a receiving device (decoder) can be realized using a general-purpose decoder chip and an inexpensive CPU, and the cost of the streaming system can be reduced.
(第1の実施の形態)
図1に、第1の実施の形態のストリーミングシステムのシステム構成図を示す。この図1に示すように、第1の実施の形態のストリーミングシステムは、サーバ装置1およびクライアント装置2を有している。サーバ装置1およびクライアント装置2は、インターネット等のネットワーク3を介して相互に接続されている。サーバ装置1は、所定の映像ストリームを、SHVCエンコード技術を用いてスケーラブル拡張処理することで、いわゆる4K映像信号又8K映像信号等の高解像度の映像信号の高解像度感を維持した状態で低ビットレート化し、ネットワーク3を介して配信する。SHVCは、「Scalable High-efficiency Video Coding」の略記である。クライアント装置2は、一般的なHEVCデコーダとなっており、後述するように特別な構成を備えることなく、SHVCエンコードされた映像信号をデコードして再生する。デコードされた映像信号は、モニタ装置に表示され又はレコーダ装置等に記録される。HEVCは、「High-efficiency Video Coding」の略記である。
(First embodiment)
FIG. 1 shows a system configuration diagram of a streaming system according to a first embodiment. As shown in FIG. 1, the streaming system of the first embodiment includes a server device 1 and a
図2にサーバ装置1のハードウェア構成図を示す。図2に示すように、サーバ装置1は、CPU11、ROM12、RAM13、HDD(ハードディスクドライブ)14及び通信部15を備える。CPU11~通信部15は、バスライン16を介して相互に接続されている。CPUは、「Central Processing Unit」の略記である。ROMは、「Read Only Memory」の略記である。RAMは、「Random Access Memory」の略記である。
FIG. 2 shows a hardware configuration diagram of the server device 1. As shown in FIG. 2, the server device 1 includes a CPU 11, a
HDD14には、映像ストリームをエンコードするためのエンコードプログラムが記憶されている。CPU11は、エンコードプログラムに従って動作することでエンコーダ17として機能し、映像ストリームをSHVCエンコードして配信する。なお、エンコードプログラムは、ROM12又はRAM13等の他の記憶部に記憶してもよい。
The
図3にクライアント装置2のハードウェア構成図を示す。図3に示すように、クライアント装置2は、CPU21、ROM22、RAM23、HDD(ハードディスクドライブ)24及び通信部25を備える。CPU21~通信部25は、バスライン26を介して相互に接続されている。
FIG. 3 shows a hardware configuration diagram of the
HDD24には、サーバ装置1からSHVCエンコードされて送信される映像ストリームをデコードするためのデコードプログラムが記憶されている。CPU21は、デコードプログラムに従って動作することでデコーダ27として機能し、サーバ装置1から受信した映像ストリームをデコードする。なお、デコードプログラムは、ROM22又はRAM23等の他の記憶部に記憶してもよい。
The
この例では、エンコーダ17及びデコーダ27はソフトウェア的に実現することとして説明を進める。しかし、エンコーダ17及びデコーダ27のうち、全部、いずれか一つ又は複数をIC(Integrated Circuit)等のハードウェアで実現してもよい。
In this example, the description will proceed assuming that the
また、エンコードプログラムおよびデコードプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、エンコードプログラム及びデコードプログラムは、CD-R、DVD、ブルーレイディスク(登録商標)、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。DVDは、「Digital Versatile Disk」の略記である。また、エンコードプログラム及びデコードプログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、エンコードプログラム及びデコードプログラムは、機器内のROM等に予め組み込んで提供してもよい。 Further, the encoding program and the decoding program may be provided as installable or executable files recorded on a computer readable recording medium such as a CD-ROM or a flexible disk (FD). Further, the encoding program and the decoding program may be provided by being recorded on a computer-readable recording medium such as a CD-R, DVD, Blu-ray Disc (registered trademark), or semiconductor memory. DVD is an abbreviation for "Digital Versatile Disk." Further, the encoding program and the decoding program may be provided in the form of installation via a network such as the Internet. Further, the encoding program and the decoding program may be provided by being pre-installed in a ROM or the like within the device.
図4は、サーバ装置1のエンコーダ17の機能ブロック図である。エンコーダ17は、エンコード装置の一例である。この図3に示すように、エンコーダ17は、事前処理部31、記憶制御部32、第1の送信制御部33、第2のバッファ制御部34、第2のエンコード部35、調整部36、第2の送信制御部37を有している。事前処理部31は、第1のバッファ制御部38及び第1のエンコード部39を有している。なお、事前処理部31~第2の送信制御部37のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。
FIG. 4 is a functional block diagram of the
事前処理部31は、例えば受信側となるクライアント装置2の工場出荷時又は初期セットアップ時等において、上述のベースストリームを予め生成してデコーダに記憶する場合に機能する処理部である。このため、実際のストリーム伝送時に、動的に、非同期又は同期して、デコーダ側のベースストリームを更新する場合には、事前処理部31は不要となる。また、図4では、事前処理部31を独立の処理部として図示しているが、第1のバッファ制御部38を第2のバッファ制御部34で代用し、第1のエンコード部39を第2のエンコード部35で代用することで、事前処理部31を省略できる。
The preprocessing
記憶制御部32は、事前処理部31で生成され、クライアント装置2(デコーダ27)の間で共有するベースストリームを、RAM13等の記憶部に記憶制御する。第1の送信制御部33は、RAM13に記憶されたベースストリームをクライアント装置2に送信するように通信部15を制御し、デコーダ27との間でベースストリームを共有する。
The
第2のバッファ制御部34は、入力される映像ストリーム(入力ビットストリーム)を、RAM13等の記憶部にバッファリング処理する。差分生成部の一例である第2のエンコード部35は、RAM13に記憶されているベースストリームと、バッファリング処理された映像ストリームとの差分である差分ビットストリームを生成する。これにより、スケーラブル拡張及び低ビットレート化されたビットストリーム(SHVCエンコード処理されたビットストリーム)が生成される。
The second
調整部36は、例えば参照するベースストリームの識別情報又は関連情報を付加することで、差分ビットストリームの調整を行う。通信制御部の一例である第2の送信制御部37は、調整された差分ビットストリームをクライアント装置2に送信するように通信部15を制御する。
The
図5は、クライアント装置2のデコーダ27の機能ブロック図である。デコーダ27は、デコード装置の一例である。この図5に示すように、デコーダ27は、調整処理部41及びデコード処理部42を有している。調整処理部41は、第1の受信制御部43、記憶制御部44、第2の受信制御部45及び構成調整部46を有している。デコード処理部42は、デコード部47及びバッファ制御部48を有している。なお、第1の受信制御部43~バッファ制御部48のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。
FIG. 5 is a functional block diagram of the
第1の受信制御部43は、上述のように事前に生成され又は動的に更新される、サーバ装置1からのベースストリームを受信するように通信部25を制御する。記憶制御部44は、受信したベースストリームをRAM23等の記憶部に記憶制御する。第2の受信制御部45は、サーバ装置1からの差分ビットストリームを受信するように通信部25を制御する。構成調整部46は、予め共有しているベースストリームと、受信した差分ストリームを用いて、本来、エンコーダ17が生成する予定であったビットストリームと同等(同画質、同解像度)のビットストリームを再構成する。
The first
デコーダは、再構成されたビットストリームに対して、通常のHEVCデコード処理を施す。バッファ制御部48は、デコードされたビットストリームを、RAM23等の記憶部にバッファリング処理し、順次、読み出してモニタ装置又は記録装置等に出力する。
The decoder performs normal HEVC decoding processing on the reconstructed bitstream. The buffer control unit 48 buffers the decoded bitstream in a storage unit such as the
次に、図6のフローチャートに、クライアント装置2との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置2の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図4に示す事前処理部31の第1のバッファ制御部38が、事前入力されたピクチャ(事前入力ビットストリーム)をRAM13にバッファリング処理する。
Next, the flowchart of FIG. 6 shows the flow of the base stream generation operation to be shared with the
事前入力ピクチャとしては、キャプチャ画像、カメラ入力から得られるピクチャ又は所定の加工処理を施したピクチャ等が用いられる。また、事前入力ピクチャとしては、差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャであることが好ましい。 As the pre-input picture, a captured image, a picture obtained from camera input, a picture subjected to predetermined processing, or the like is used. Further, the pre-input picture is preferably a picture that has an image quality that can be used as a reference picture when generating a difference bitstream, and has high similarity to a picture for which a difference is to be generated.
第1のエンコード部39は、バッファリング処理された事前入力ピクチャを、RAM13から読み出し、SHVC用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのIピクチャ単体等が一例として挙げられる。
The
記憶制御部32は、図6のフローチャートのステップS1において、ベースストリームを取得し、ステップS2において、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は(ステップS2:Yes)、ステップS3に処理が進み、記憶が不要の場合は(ステップS2:No)、ステップS4に処理が進む。
The
ステップS3では、調整部36がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を行う。また、ステップS3では、記憶制御部32が、調整処理されたベースストリームを、RAM23に一旦記憶する。
In step S3, the
次に、ステップS4では、第1の送信制御部33が、クライアント装置2に対するベースストリームの出力(伝送)が必要か否か判断する。出力が必要な場合(ステップS4:Yes)、第1の送信制御部33は、ステップS5において、ベースストリームをクライアント装置2に伝送するように、通信部15を制御する。これに対して、出力が不要な場合(ステップS4:No)、第1の送信制御部33は、ベースストリームを伝送することなく、図6のフローチャートの処理を終了する。
Next, in step S4, the first
第1の送信制御部33が、ベースストリームをクライアント装置2に送信するタイミングとしては、例えば記憶制御部32から新たなベースストリームを記憶した旨が通知されたタイミングでよい。または、ユーザ又はシステムからベースストリームの出力指示が供給されたタイミングでよい。または、予め決められたタイミング、又は、クライアント装置2のからの伝送要求時のタイミングでもよい。なお、ベースストリームの伝送速度は任意であり、クライアント装置2の通信回線等に応じて低いビットレートの伝送速度としてもよいし、出力時間を短くするために高いビットレートの伝送速度としてもよい。
The timing at which the first
次に、図7のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置2に伝送する動作の流れを示す。ステップS11では、図4に示す第2のバッファ制御部34が、エンコードを施すピクチャを取得し、RAM13等にバッファリング処理する。ステップS12では、第2のエンコード部35が、記憶制御部32を介して、入力されたピクチャをエンコードする際に参照すべきベースストリームがRAM13に記憶されているか否かを判別する。
Next, the flowchart of FIG. 7 shows the flow of operations for generating a differential bitstream based on the base stream and transmitting it to the
参照すべきベースストリームがRAM13に記憶されていない場合(ステップS12:No)、第2のエンコード部35は、ステップS14において、ベースストリームを参照することなく、入力されたピクチャに対してSHVCエンコードを施し、処理をステップS15に進める。これに対して、参照すべきベースストリームがRAM13に記憶されている場合(ステップS12:Yes)、第2のエンコード部35は、ステップS13において、ベースストリームを参照し、入力されたピクチャとの差分である差分ビットストリームを生成するSHVCエンコード処理を行い、処理をステップS15に進める。
If the base stream to be referenced is not stored in the RAM 13 (step S12: No), the
ステップS15では、調整部36が、SHVCエンコード処理により生成された差分ビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップS16では、記憶制御部32が、SHVCエンコード処理で生成したビットストリームを、RAM13に記憶するか否かを判別する。記憶する場合は(ステップS16:Yes)、記憶制御部32は、ステップS17において、SHVCエンコード処理で生成したビットストリームを、RAM13に記憶する。この際、記憶制御部32は、新たに生成されたビットストリームをRAM13に記憶し、又は、RAM13に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部32は、RAM13に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合(ステップS16:No)、処理は、ステップS18に進む。
In step S15, the
ステップS18では、第2の送信制御部37が、差分ビットストリーム等をクライアント装置2に送信するように通信部15を制御して、図7のフローチャートの処理を終了する。第1の実施の形態のストリーミングシステムの場合、最初にベースストリームをクライアント装置2に送信しておき、後は、ベースストリームとの差分である差分ビットストリームのみをクライアント装置2に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる。
In step S18, the second
次に、図8のフローチャートに、サーバ装置1から送信されたベースストリームを、クライアント装置2側で記憶する動作の流れを示す。ステップS21では、図5に示す第1の受信制御部43が、サーバ装置1から送信されたベースストリームを取得するように、通信部25を制御する。ステップS22では、記憶制御部44が、取得したベースストリームは、記憶の必要があるか否かを判別する。
Next, the flowchart of FIG. 8 shows the flow of operations for storing the base stream transmitted from the server device 1 on the
具体的には、記憶制御部44は、ユーザ又はシステムからベースストリームの出力処理が指示されている場合、又は、予め予め決められたタイミングである場合に、取得したベースストリームをRAM23等の記憶部に記憶する。または、記憶制御部44は、サーバ装置1から記憶が指示されている場合、及び、構成調整部46から記憶が指示されている場合等に、取得したベースストリームをRAM23等の記憶部に記憶する。なお、ベースストリームの入力速度は任意であり、サーバ装置1の通信回線等に応じて低いビットレートの入力速度としてもよいし、入力時間を短くするために高いビットレートの入力速度としてもよい。
Specifically, the
ステップS22において、記憶が必要であると判別された場合、ステップS23において、記憶制御部44は、取得したベースストリームをRAM23に記憶制御する。これにより、サーバ装置1とクライアント装置2との間でベースストリームが共有される。なお、ステップS22において、記憶が不要であると判別された場合、記憶制御部44は、そのまま図8のフローチャートの処理を終了する。
If it is determined in step S22 that storage is necessary, the
次に、図9のフローチャートに、サーバ装置1から送信されたビットストリームをデコードする流れを示す。ステップS31では、第2の受信制御部45が、サーバ装置1から伝送されるビットストリームを取得するように通信部25を制御する。ステップS32では、構成調整部46が、ビットストリームのデコードにベースストリームが必要か否かを判別する。
Next, the flowchart of FIG. 9 shows the flow of decoding the bitstream transmitted from the server device 1. In step S31, the second
ベースストリームが必要である場合(ステップS32:Yes)、構成調整部46は、ステップS33において、RAM23に予め記憶されているベースストリームを取得して、処理をステップS34に進める。これに対して、ベースストリームが不要である場合(ステップS32:No)、構成調整部46は、ステップS34に処理を進める。
If the base stream is necessary (step S32: Yes), the configuration adjustment unit 46 acquires the base stream stored in advance in the
ステップS34では、構成調整部46が、予め共有しているベースストリームと、受信した後続の差分ビットストリームを用いて、本来、サーバ装置1のエンコーダ17が生成する予定であったビットストリームと同等(同画質、同解像度)のビットストリームを再構成する。換言すると、構成調整部46は、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。ステップS35では、デコード部47が、再構成されたビットストリームに対して、通常のHEVCデコード処理を施してデコードする。そして、バッファ制御部が、デコードされたビットストリームをRAM23に一旦記憶し、順次、読み出してモニタ装置又は記録装置等に出力する。
In step S34, the configuration adjustment unit 46 uses the pre-shared base stream and the received subsequent differential bitstream to create a bitstream that is equivalent to the bitstream that was originally planned to be generated by the
このような第1の実施の形態のストリーミングシステムは、ビットストリームの転送において、帯域利用効率のよいストリーミングを可能とすることができる。また、SHVC専用のデコーダを用いなくても、通常のHEVCデコーダで、SHVCエンコード処理されたビットストリームのデコードを行うことができる。また、トランスコードと比べても再構成の処理量を低減できる。従って、汎用デコーダチップと安価なCPUでクライアント装置2を実現でき、ストリーミングシステムのコストダウンを実現できる。
The streaming system according to the first embodiment can perform streaming with high bandwidth efficiency in bitstream transfer. Furthermore, a bitstream subjected to SHVC encoding can be decoded using a normal HEVC decoder without using a dedicated SHVC decoder. Furthermore, the amount of processing required for reconstruction can be reduced compared to transcoding. Therefore, the
(第2の実施の形態)
次に、第2の実施の形態のストリーミングシステムの説明をする。上述の第1の実施の形態ストリーミングシステムが、動画像のビットストリームを伝送する例であるのに対し、この第2の実施の形態のストリーミングシステムは、静止画像(ピクチャ)のビットストリームを伝送する例である。なお、第1の実施の形態と第2の実施の形態とでは、この点のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。
(Second embodiment)
Next, a streaming system according to a second embodiment will be explained. The streaming system according to the first embodiment described above is an example of transmitting a bitstream of a moving image, whereas the streaming system according to the second embodiment transmits a bitstream of a still image (picture). This is an example. Note that the first embodiment and the second embodiment differ only in this point. Therefore, only the differences will be explained below, and duplicate explanations will be omitted.
図10は、第2の実施の形態のストリーミングシステムのエンコーダ17の機能ブロック図である。この図10において、図4と同じ動作を示す箇所には同じ符号を付してある。第2の実施の形態のストリーミングシステムのエンコーダ17は、図10に示すように、図4の各機能に加え、第1のバッファ制御部38及び第2のバッファ制御部34によりバッファリング処理されたピクチャを、RAM13に記憶制御するピクチャ記憶制御部51を有している。また、RAM13に記憶されたピクチャのうち、エンコードするピクチャを判定(選別)する判定部52を有している。
FIG. 10 is a functional block diagram of the
図11のフローチャートに、クライアント装置2との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置2の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図10に示す事前処理部31の第1のバッファ制御部38が、ステップS41において、事前入力されたピクチャ(事前入力ピクチャ)をバッファリング処理する。
The flowchart in FIG. 11 shows the flow of the base stream generation operation to be shared with the
事前入力ピクチャとしては、キャプチャ画像、カメラ入力から得られるピクチャ又は所定の加工処理を施したピクチャ等が用いられる。また、事前入力ピクチャとしては、差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャであることが好ましい。 As the pre-input picture, a captured image, a picture obtained from camera input, a picture subjected to predetermined processing, or the like is used. Further, the pre-input picture is preferably a picture that has an image quality that can be used as a reference picture when generating a difference bitstream, and has high similarity to a picture for which a difference is to be generated.
ステップS42では、ピクチャ記憶制御部51が、判定部52と連携し、事前入力ピクチャは、記憶が必要か否かを判別する。記憶が必要な場合(ステップS41:Yes)、ピクチャ記憶制御部51は、ステップS43において、事前入力ピクチャをRAM13に記憶制御して、処理をステップS44に進める。これに対して、記憶が不要な場合(ステップS41:No)、ピクチャ記憶制御部51は、処理をステップS44に処理を進める。
In step S42, the picture
ステップS44では、第1のエンコード部39が、RAM13から事前入力ピクチャを読み出し、SHVC用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのIピクチャ単体等が一例として挙げられる。
In step S44, the
次に、記憶制御部32は、ステップS45において、ベースストリームは、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は(ステップS45:Yes)、ステップS46に処理が進み、記憶が不要の場合は(ステップS45:No)、ステップS47に処理が進む。
Next, in step S45, the
ステップS46では、記憶制御部32が、ベースストリームをRAM13に記憶制御すると共に、必要に応じて、調整部36がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を施す。そして、ステップS47において、第1の送信制御部33が、クライアント装置2にベースストリーム伝送するように、通信部15を制御して、図6のフローチャートの処理が終了する。これにより、サーバ装置1とクライアント装置2との間でベースストリームが共有される。
In step S46, the
第1の送信制御部33が、ベースストリームをクライアント装置2に送信するタイミングとしては、例えば記憶制御部32から新たなベースストリームを記憶した旨が通知されたタイミングでよい。または、ユーザ又はシステムからベースストリームの出力指示が供給されたタイミングでよい。または、予め決められたタイミング、又は、クライアント装置2のからの伝送要求時のタイミングでもよい。なお、ベースストリームの伝送速度は任意であり、クライアント装置2の通信回線等に応じて低いビットレートの伝送速度としてもよいし、出力時間を短くするために高いビットレートの伝送速度としてもよい。
The timing at which the first
次に、図12のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置2に伝送する動作の流れを示す。ステップS51では、図10に示す第2のバッファ制御部34が、エンコードを施す入力ピクチャを取得し、RAM13等にバッファリング処理する。ステップS52では、ピクチャ記憶制御部51が判定部52と連携し、入力ピクチャに関連する、参照すべきピクチャ(ベースストリーム)は存在するか否か(RAM13に記憶されているか否か)を判別する。
Next, the flowchart in FIG. 12 shows the flow of operations for generating a differential bitstream based on the base stream and transmitting it to the
参照すべきピクチャが存在する場合(ステップS52:Yes)、第2のエンコード部35は、入力ピクチャの代わりに、参照すべきピクチャをSHVCエンコードし、ベースストリームを生成する。これに対して、参照すべきピクチャが存在しない場合(ステップS52:No)、第2のエンコード部35は、入力ピクチャをSHVCエンコードし、ベースストリームを生成する。なお、ピクチャ記憶制御部51は、エンコードするピクチャを判定する判定部52と連携し、入力ピクチャの記憶が必要か否かを判別し、必要な場合は入力ピクチャをRAM13等に記憶してもよい。
If there is a picture to be referred to (step S52: Yes), the
次に、ステップS55では、調整部36が、SHVCエンコードにより生成されたビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップS56では、記憶制御部32が、SHVCエンコードで生成したビットストリームを、RAM13に記憶するか否かを判別する。記憶する場合は(ステップS56:Yes)、記憶制御部32は、ステップS57において、SHVCエンコード処理で生成したビットストリームを、RAM13に記憶する。この際、記憶制御部32は、新たに生成されたビットストリームをRAM13に記憶し、又は、RAM13に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部32は、RAM13に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合(ステップS56:No)、処理は、ステップS58に進む。
Next, in step S55, the
ステップS58では、第2の送信制御部37が、ビットストリーム等をクライアント装置2に送信するように通信部15を制御して、図12のフローチャートの処理を終了する。第2の実施の形態のストリーミングシステムの場合も、最初に参照ピクチャであるベースストリームをクライアント装置2に送信しておき、後は、ベースストリームとの差分である差分ピクチャのみをクライアント装置2に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる等、上述の第1の実施の形態と同じ効果を得ることができる。
In step S58, the second
なお、この第2の実施の形態の場合も、クライアント装置2のデコーダ27は、予め記憶しておいたベースストリーム及び受信した入力ピクチャを用いて、本来、エンコーダ17が生成する予定であったビットストリームと同等(同画質、同解像度)のビットストリームを再構成する。そして、デコーダ27は、再構成したストリームを再生して表示等を行う。
Note that also in the case of this second embodiment, the
本発明の実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.
1 サーバ装置
2 クライアント装置
3 ネットワーク
11 CPU
12 ROM
13 RAM
14 HDD
15 通信部
17 エンコーダ
21 CPU
22 ROM
23 RAM
24 HDD
25 通信部
27 デコーダ
31 事前処理部
32 記憶制御部
33 第1の送信制御部
34 第2のバッファ制御部
35 第2のエンコード部
36 調整部
37 第2の送信制御部
39 エンコード部
38 第1のバッファ制御部
41 調整処理部
42 デコード処理部
43 第1の受信制御部
44 記憶制御部
45 第2の受信制御部
46 構成調整部
47 デコード部
48 バッファ制御部
51 ピクチャ記憶制御部
52 判定部
1
12 ROM
13 RAM
14 HDD
15
22 ROM
23 RAM
24 HDD
25
Claims (10)
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコード装置。 a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with a decoding device and an input image;
a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Encoding device.
請求項1に記載のエンコード装置。 The communication control unit may transmit the difference bitstream generated by the difference generation unit to the decoding device without transmitting the bitstream generated based on the pre-input picture to the decoding device. controlling the communication unit;
The encoding device according to claim 1.
請求項1に記載のエンコード装置。 The encoding device according to claim 1, further comprising an adjustment unit that adds identification information of the referenced base stream to the differential bitstream.
デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成ステップと、
前記差分生成ステップで生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御ステップと、含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコード方法。 An encoding method performed by an encoding device, the encoding method comprising:
a difference generation step of generating a difference bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control step of controlling a communication unit to transmit the difference bitstream generated in the difference generation step to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Encoding method.
デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成部と、
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、として機能させ、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
エンコードプログラム。 computer,
a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with a decoding device and an input image;
functioning as a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
encoding program.
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、を有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコード装置。 The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment unit that reconfigures a bitstream equivalent to the bitstream that was created;
a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
decoding device.
エンコード装置との間で予め共有するベースストリームと、前記ベースストリームと入力画像との差分であり、前記エンコード装置から送信される差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整ステップと、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコードステップと、を含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコード方法。 A decoding method performed by a decoding device, the method comprising:
The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment step of reconstructing a bitstream equivalent to the bitstream that was created;
a decoding step of performing a decoding process corresponding to the encoding process applied to the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Decoding method.
エンコード装置との間で予め共有するベースストリームと、前記ベースストリームと入力画像との差分であり、前記エンコード装置から送信される差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整部と、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、として機能させ、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
デコードプログラム。 computer,
The encoding device is scheduled to generate a base stream that is shared in advance with the encoding device, and a difference bitstream that is a difference between the base stream and the input image and is transmitted from the encoding device. a configuration adjustment unit that reconfigures a bitstream equivalent to the bitstream that was created;
functioning as a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
decoding program.
前記エンコード装置は、
前記デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成部と、
前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御部と、有し、
前記デコード装置は、
前記ベースストリームと、前記エンコード装置から送信される前記差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整部と、
再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコード部と、を有し、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
ストリーミングシステム。 A streaming system comprising an encoding device and a decoding device,
The encoding device includes:
a difference generation unit that generates a difference bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control unit that controls a communication unit to transmit the difference bitstream generated by the difference generation unit to the decoding device;
The decoding device includes:
a configuration adjustment unit that uses the base stream and the differential bitstream transmitted from the encoding device to reconstruct a bitstream equivalent to the bitstream that was planned to be generated by the encoding device;
a decoding unit that executes a decoding process corresponding to the encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
streaming system.
前記エンコード装置が、前記デコード装置との間で予め共有するベースストリームと、入力画像と、の差分である差分ビットストリームを生成する差分生成ステップと、
前記エンコード装置が、前記差分生成ステップで生成された前記差分ビットストリームを、前記デコード装置に送信するように通信部を制御する通信制御ステップと、
前記デコード装置が、前記ベースストリームと、前記エンコード装置から送信される前記差分ビットストリームと、を用いて、前記エンコード装置が生成する予定であったビットストリームと同等のビットストリームを再構成する構成調整ステップと、
前記デコード装置が、再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を実行するデコードステップと、を含み、
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照画像として用いることが可能な画質であり、かつ、差分が生成される入力画像との類似性が高い画像であり、かつ、前記入力画像を用いずに生成される画像である事前入力ピクチャに基づいて生成される、
ストリーミング方法。 A streaming method performed in a streaming system comprising an encoding device and a decoding device, the method comprising:
a difference generation step in which the encoding device generates a differential bitstream that is a difference between a base stream shared in advance with the decoding device and the input image;
a communication control step in which the encoding device controls a communication unit to transmit the difference bitstream generated in the difference generation step to the decoding device;
A configuration adjustment in which the decoding device uses the base stream and the differential bitstream transmitted from the encoding device to reconstruct a bitstream equivalent to the bitstream that the encoding device was scheduled to generate. step and
a decoding step in which the decoding device performs a decoding process corresponding to an encoding process performed on the reconstructed bitstream,
The base stream is an image that has an image quality that can be used as a reference image when generating the difference bitstream, and is highly similar to the input image for which the difference is to be generated, and Generated based on a pre-input picture, which is an image generated without using an image,
Streaming method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023135546A JP2023153326A (en) | 2019-06-05 | 2023-08-23 | Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105711A JP2019176500A (en) | 2019-06-05 | 2019-06-05 | Encoding device, encoding program and streaming system |
JP2021178812A JP2022031267A (en) | 2019-06-05 | 2021-11-01 | Streaming system and encoding program |
JP2023135546A JP2023153326A (en) | 2019-06-05 | 2023-08-23 | Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021178812A Division JP2022031267A (en) | 2019-06-05 | 2021-11-01 | Streaming system and encoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023153326A true JP2023153326A (en) | 2023-10-17 |
Family
ID=68167858
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105711A Pending JP2019176500A (en) | 2019-06-05 | 2019-06-05 | Encoding device, encoding program and streaming system |
JP2021178812A Pending JP2022031267A (en) | 2019-06-05 | 2021-11-01 | Streaming system and encoding program |
JP2023135546A Pending JP2023153326A (en) | 2019-06-05 | 2023-08-23 | Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105711A Pending JP2019176500A (en) | 2019-06-05 | 2019-06-05 | Encoding device, encoding program and streaming system |
JP2021178812A Pending JP2022031267A (en) | 2019-06-05 | 2021-11-01 | Streaming system and encoding program |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2019176500A (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038130B (en) * | 2021-03-17 | 2024-06-04 | 百果园技术(新加坡)有限公司 | Video encoding method and device, electronic equipment and readable storage medium |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3271634B2 (en) * | 1993-08-10 | 2002-04-02 | ソニー株式会社 | Digital image signal transmission device and reception device |
JPH11150720A (en) * | 1997-11-17 | 1999-06-02 | Matsushita Electric Ind Co Ltd | Real time data reproduction device and system therefor |
US6731799B1 (en) * | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
JP2002010251A (en) * | 2000-06-19 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Video signal coding device and video signal decoding device |
KR100491530B1 (en) * | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | Method of determining motion vector |
JP2006237656A (en) * | 2003-02-28 | 2006-09-07 | Secom Co Ltd | Coded signal separating/merging device, generator and extracting device for difference coded signal, and method and program for separating/merging coded signal |
JP2005136762A (en) * | 2003-10-31 | 2005-05-26 | Hitachi Ltd | High definition video reproduction method and apparatus |
JP2005260912A (en) * | 2004-02-10 | 2005-09-22 | Matsushita Electric Ind Co Ltd | Video image communication device and method |
JP2010011154A (en) * | 2008-06-27 | 2010-01-14 | Pioneer Electronic Corp | Image generation apparatus and image reproducing apparatus |
JP2013090296A (en) * | 2011-10-21 | 2013-05-13 | Sharp Corp | Encoder, transmitter, encoding method, decoder, receiver, decoding method, program, and recording medium |
JP2015033071A (en) * | 2013-08-06 | 2015-02-16 | シャープ株式会社 | Hierarchical moving image transmission system, and moving image decoding device |
-
2019
- 2019-06-05 JP JP2019105711A patent/JP2019176500A/en active Pending
-
2021
- 2021-11-01 JP JP2021178812A patent/JP2022031267A/en active Pending
-
2023
- 2023-08-23 JP JP2023135546A patent/JP2023153326A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2019176500A (en) | 2019-10-10 |
JP2022031267A (en) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100945548B1 (en) | Video error resilience | |
US11997302B2 (en) | Encoding device, decoding device, streaming system, and streaming method | |
JP6305279B2 (en) | Video compression device and video playback device | |
US20020136298A1 (en) | System and method for adaptive streaming of predictive coded video data | |
KR100657070B1 (en) | Method of multichannel data compression | |
JP2008507194A (en) | Motion information encoding apparatus and method, motion information decoding apparatus and method, scalable video encoding apparatus and method employing the same, and scalable video decoding apparatus and method | |
KR20060063613A (en) | Method for scalably encoding and decoding video signal | |
JP2023153326A (en) | Encoding device, encoding method, encoding program, decoding device, decoding method, decoding program, streaming system and streaming method | |
KR101978922B1 (en) | FoV on the background frame streaming method of high quality 360 degree video data by separately transmitting the region of interest and the background frame | |
US8731065B2 (en) | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same | |
JP2005520417A (en) | Method and apparatus for performing smooth transitions between FGS coding configurations | |
US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
JP5784823B2 (en) | On-demand intra-refresh for end-to-end coded video transmission systems | |
JP2010004142A (en) | Moving picture encoder, decoder, encoding method, and decoding method | |
JP4462559B2 (en) | Trick playback content creation method and device, trick playback compressed video data transmission method and device, and trick playback content creation program | |
US9930422B2 (en) | Video transmission system, video encoding apparatus, and video decoding apparatus | |
KR100626419B1 (en) | Switching between bit-streams in video transmission | |
JPWO2008041305A1 (en) | High-quality compressed video transmission system | |
JP6566864B2 (en) | Bitstream conversion apparatus, bitstream conversion method, distribution system, and computer-readable recording medium | |
JPH10117346A (en) | Information-supplying device, information-reproducing device and information-supplying and reproducing system | |
JP7292901B2 (en) | Transmission device, transmission method, and program | |
JP7378035B2 (en) | Conversion device, decoding device, conversion method and decoding method | |
JP2005176068A (en) | Motion image distribution system and method therefor | |
JP2016192658A (en) | Communication system, communication device, communication method and communication control method | |
JP2019208121A (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230823 |