JP7378035B2 - 変換装置、復号装置、変換方法および復号方法 - Google Patents

変換装置、復号装置、変換方法および復号方法 Download PDF

Info

Publication number
JP7378035B2
JP7378035B2 JP2018170854A JP2018170854A JP7378035B2 JP 7378035 B2 JP7378035 B2 JP 7378035B2 JP 2018170854 A JP2018170854 A JP 2018170854A JP 2018170854 A JP2018170854 A JP 2018170854A JP 7378035 B2 JP7378035 B2 JP 7378035B2
Authority
JP
Japan
Prior art keywords
picture
stream
encoded data
unit
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170854A
Other languages
English (en)
Other versions
JP2020043519A (ja
Inventor
健治 大井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018170854A priority Critical patent/JP7378035B2/ja
Priority to PCT/JP2019/026648 priority patent/WO2020054190A1/ja
Priority to EP19859227.1A priority patent/EP3852369A4/en
Priority to CN201980058196.0A priority patent/CN112655213A/zh
Publication of JP2020043519A publication Critical patent/JP2020043519A/ja
Priority to US17/196,299 priority patent/US11490121B2/en
Application granted granted Critical
Publication of JP7378035B2 publication Critical patent/JP7378035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、動画像の符号化、復号または変換を行う装置および方法などに関する。
動画像符号化処理では、一般に、動画像が有する時間方向の冗長性を利用して情報量の圧縮を行う画面間予測（以降、インター予測とも呼ぶ）符号化処理が用いられる。インター予測符号化処理では、ピクチャを符号化する際に、そのピクチャ（以下、符号化対象ピクチャという）とは異なる符号化済みのピクチャを、参照ピクチャとして用いる。そして、その参照ピクチャに基づく符号化対象ピクチャの動き検出により、動きベクトルを導出する。さらに、動きベクトルに基づいて動き補償を行って得られた予測画像と、符号化対象ピクチャとの差分を取ることにより、時間方向の冗長性を取り除く。ここで、動き検出では、符号化対象ピクチャ内の符号化対象ブロックと、参照ピクチャ内の各ブロックとの差分値を算出し、最も差分値の小さい参照ピクチャ内のブロックを参照ブロックとして探索する。そして、符号化対象ブロックと、参照ブロックとを用いて、動きベクトルを検出する。
動画像符号化処理では、一般に、インター予測符号化処理と、参照ピクチャを用いない符号化処理である画面内予測（以降、イントラ予測とも呼ぶ）符号化処理が併用される。また、動画像の符号化方式として代表的なものに、Ｈ．２６５／ＨＥＶＣと呼ばれる動画像符号化方式がある（非特許文献１参照）。
また、動画像符号化処理は、監視カメラまたはテレビ会議システムのように１つの映像を複数の端末に伝送する場合、あるいは、映像を記憶媒体に記録する場合などに用いられる。
Recommendation ITU-T H.265 「AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video」、２０１８年２月
例えば監視カメラなどの動画像の伝送に、上述の動画像符号化処理が単純に用いられる場合には、柔軟なサービスを提供することが難しいという課題がある。
本開示は、符号化された動画像であるストリームを他のストリームに変換する装置であって、より柔軟なサービスを提供することができる変換装置を提供する。
本開示の一態様に係る変換装置は、第１ストリームを取得する取得部と、前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、（１）変換された前記第２ピクチャと、（２）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化された第３ピクチャとを含む第２ストリームを出力する出力部と、を備え、前記第２ピクチャは、前記第２ストリームに含まれる複数のピクチャのうち、復号順で先頭のピクチャであり、前記第３ピクチャは、復号順で前記第２ピクチャの後に配置され、前記第１ピクチャの復号画像は、前記第２ピクチャの復号画像と等しい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
本開示の変換装置によれば、より柔軟なサービスを提供することができる。
図１は、実施の形態１における変換装置の構成図である。 図２は、実施の形態１における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。 図３Ａは、実施の形態１における変換装置の動作の一例を示すフローチャートである。 図３Ｂは、実施の形態１における変換装置の動作の他の例を示すフローチャートである。 図４は、実施の形態２における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。 図５は、実施の形態３における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。 図６は、実施の形態４における符号化装置の構成図である。 図７は、実施の形態５における映像配信システムの構成図である。 図８は、実施の形態６における映像配信システムの構成図である。 図９は、実施の形態７における映像再生システムの構成図である。 図１０は、実施の形態７における可逆圧縮方式のトランスコードを説明するための図である。 図１１は、実施の形態７における他の映像記録再生装置の構成図である。 図１２は、変換装置の構成の他の例を示すブロック図である。
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した動画像符号化処理の適用例に関し、以下の課題が生じることを見出した。
例えば、動画像符号化処理の適用例として、監視カメラなどの動画像に対して符号化処理を行い、その符号化処理された動画像、すなわちストリームを複数の端末に送信して再生させるシステムがある。これらの複数の端末はストリーミング再生を行う。このようなシステムの場合、第１端末がストリームの再生を行っているときに、途中から第２端末がそのストリームの送信を要求しても、その第２端末によるそのストリームの再生が遅延する可能性がある。
例えば、第２端末は、ストリームに含まれるＧＯＰ（Group of Picture）にある、インター予測符号化されたピクチャからの再生を要求する。つまり、その再生の要求が受け付けられたタイミングでは、ストリームに含まれる各ピクチャのうち、そのインター予測符号化されたピクチャが送信される。また、そのピクチャは、具体的にはＰピクチャ（Predictive Picture）またはＢピクチャ（Bidirectionally Predictive Picture）などである。
しかし、その要求に応じて、ストリームのうち、インター予測符号化されたピクチャ以降の各ピクチャが第２端末に送信されても、第２端末は、そのインター予測符号化されたピクチャを復号することができない。これは、第２端末が、インター予測符号化されたピクチャの復号に参照されるピクチャを先に復号していないためである。したがって、第２端末は、ストリームのうちのＩＤＲ（Instantaneous Decoding Refresh）ピクチャが伝送されるまで、再生を待たなければならない。そのため、効率的なランダムアクセスが困難である。
また、このような再生の遅延を解消するために、そのインター予測符号化されたピクチャを、イントラ予測符号化されたピクチャに変換することが想定される。この場合には、インター予測符号化されたピクチャの代わりに、イントラ予測符号化されたピクチャを含むストリームが第２端末に送信される。その結果、第２端末は、ストリームに含まれるそのイントラ予測符号化されたピクチャから各ピクチャを復号することができる。しかし、そのイントラ予測符号化されたピクチャの後続のピクチャの復号画像の画質が低下してしまうという課題が生じる。これは、ストリームに含まれていた元のピクチャが、不可逆にインター予測符号化されてあって、そのピクチャの復号画像が、上述の変換によって、さらに不可逆にイントラ予測符号化されるためである。その結果、このようなイントラ予測符号化されたピクチャの復号画像を参照することによって復号されるピクチャでは、画質が低下してしまう。つまり、ストリームに含まれる、イントラ予測符号化されたピクチャ以降の各ピクチャにおいて、映像の乱れが生じてしまう。
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、ストリームにＩＤＲピクチャを挿入して、そのＩＤＲピクチャが挿入されたストリームを第２端末に送信することが想定される。しかし、この場合には、そのストリームを伝送するためのネットワークの負荷が増加してしまう。
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、監視カメラなどに各端末に対応する符号化装置を備えておくことが想定される。しかし、この場合には、ストリームを同時に再生することができる端末の数が、その符号化装置の数に制限されてしまう。
そこで、本開示の一態様に係る変換装置は、第１ストリームを取得する取得部と、前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、前記第２ピクチャを含む第２ストリームを出力する出力部と、を備える。例えば、前記変換部は、前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、前記第１ピクチャの復号画像を可逆符号化することによって、前記第１ピクチャを前記第２ピクチャに変換してもよい。また、可逆符号化は、例えば、動画像符号化規格のＨ．２６４またはＨ．２６５の拡張機能である、Ｈ．２６４ＬｏｓｓｌｅｓｓまたはＨ．２６５Ｌｏｓｓｌｅｓｓなどによる符号化である。
これにより、例えば、第１ストリームが送信されているときに、端末が、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームがその端末に送信される。その結果、端末は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
また、前記出力部は、前記第１ストリームに含まれる、前記第１ピクチャの復号画像を参照して符号化されたピクチャである第３ピクチャが、復号順で前記第２ピクチャの後に配置されるように、前記第２ストリームに前記第３ピクチャを含め、前記第３ピクチャを含む前記第２ストリームを出力してもよい。
これにより、第３ピクチャの符号化方式が変換されていなくても、その第２ストリームを受信する端末は、第２ピクチャの復号画像を参照して第３ピクチャを適切に復号することができる。
また、前記出力部は、さらに、前記取得部によって取得された前記第１ストリームを出力してもよい。
これにより、第１ストリームを第１端末に送信しているときに、第２端末からの要求に応じて、第２ストリームを第２端末に送信することができる。
また、前記変換装置は、さらに、前記第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、前記変換部は、前記判断部によって変換すると判断されたピクチャである前記第１ピクチャを、前記第２ピクチャに変換してもよい。例えば、前記判断部は、前記第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
また、前記判断部は、前記第１ストリームに含まれる複数のピクチャのうち、前記少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断してもよい。
これにより、符号化方式の変換にかかる負荷を低減することができる。
また、前記変換部は、前記第１ピクチャの復号画像をイントラ予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換してもよい。
これにより、第２ピクチャは可逆符号化されたＩピクチャであるため、第２ストリームの先頭に第２ピクチャが配置されていても、端末は、第２ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第１ストリームに含まれる各ピクチャのうち第１ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
また、前記変換部は、さらに、前記第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、前記第４ピクチャの復号画像を生成し、前記第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第４ピクチャを第５ピクチャに変換し、前記第１ピクチャの前記第２ピクチャへの変換では、前記第４ピクチャの復号画像を参照してインター予測符号化された前記第１ピクチャの復号画像を、前記第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、前記出力部は、前記第５ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力してもよい。
これにより、第１ストリームに含まれる第４ピクチャおよび第１ピクチャは、第２ストリームに含まれる第５ピクチャおよび第２ピクチャに変換される。例えば、不可逆符号化されたＰピクチャである第４ピクチャと、不可逆符号化されたＰピクチャである第１ピクチャとは、不可逆符号化されたＩピクチャである第５ピクチャと、可逆符号化されたＰピクチャである第２ピクチャとに、それぞれ変換される。
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第２ピクチャは、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャ（またはＢピクチャ）として構成される。また、不可逆符号化されたＰピクチャである第４ピクチャを、不可逆符号化されたＩピクチャである第５ピクチャに変換することによって、１つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
また、前記変換部は、さらに、前記第１ストリームに含まれる、不可逆にインター予測符号化された前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、前記第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第１ピクチャを第４ピクチャに変換し、前記第１ピクチャの前記第２ピクチャへの変換では、前記第１ピクチャの復号画像を、前記第４ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、前記出力部は、前記第４ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力してもよい。
これにより、第１ストリームに含まれる第１ピクチャは、第２ストリームに含まれる第４ピクチャと第２ピクチャとに変換される。例えば、不可逆符号化されたＰピクチャである第１ピクチャは、不可逆符号化されたＩピクチャである第４ピクチャと、可逆符号化されたＰピクチャである第２ピクチャとに変換される。
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第２ピクチャは、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャ（またはＢピクチャ）として構成される。また、第４ピクチャと第２ピクチャとはそれぞれ、同じ第１ピクチャからの変換によって生成されるため、第４ピクチャと第２ピクチャとの画像は類似している。その結果、第１ピクチャから第２ピクチャへの変換に、その第４ピクチャの復号画像が参照されることによって、その第２ピクチャの符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
また、本開示の一態様に係る復号装置は、第２ピクチャを含む第２ストリームを受信する受信部と、前記第２ストリームを復号することによって映像信号を生成する復号部と、前記映像信号にしたがって映像を表示する表示部とを備え、前記第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
これにより、例えば、第１ストリームが送信されているときに、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求すると、受信部は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームを受信する。その結果、復号部は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
（実施の形態１）
図１は、本実施の形態における変換装置の構成図である。
本実施の形態における変換装置１０ａは、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第１符号化データをトランスコードすることによって得られる第２符号化データを含む第２ストリームとを出力する。例えば、変換装置１０ａは、第１ストリームを第１復号装置２１に出力し、第２ストリームを第２復号装置２２に出力する。
なお、本開示において、フレームとピクチャとは同義である。また、フレームまたはピクチャは、符号化されていない状態であってもよく、符号化されている状態であってもよい。しかし、符号化されている状態を明示する場合、その符号化されているフレームまたはピクチャを、符号化データと称する。
また、上述の第１符号化データは、第１ストリームの先頭に配置されている符号化データではなく、途中に配置されている符号化データである。なお、ストリームには、各符号化データが先頭から復号順または符号化順に配置されている。また、第１ストリームに含まれる各符号化データは、フレームまたはピクチャを不可逆符号化することによって得られたデータである。
本実施の形態における変換装置１０ａによって、第１復号装置２１は、第１ストリームの復号を、先頭の符号化データから開始し、第２復号装置２２は、第２ストリームの復号を、第１ストリームの途中にある第１符号化データに対応する第２符号化データから開始することができる。なお、第２符号化データは、例えばＰピクチャである第１符号化データを可逆符号化でトランスコードすることによって得られるＩピクチャであってもよい。この構成により、第２符号化データ（すなわち符号化された第１フレーム）の後続の符号化データをトランスコードしなくても、第２復号装置２２は、その後続の符号化データを復号することができる可能性がある。
変換装置１０ａは、図１に示すように、取得部１１、判断部１３、変換部１２、および出力部１４を備え、第１復号装置２１と第２復号装置２２とに接続されている。変換装置１０ａは、第１ストリームを取得し、その第１ストリームを第１復号装置２１に出力する。また、変換装置１０ａは、その第１ストリームを第２ストリームに変換し、その第２ストリームを第２復号装置２２に出力する。第１復号装置２１は、第１ストリームを復号し、第２復号装置２２は、第２ストリームを復号する。なお、変換装置１０ａと、第１復号装置２１および第２復号装置２２とは、ネットワーク経由で接続されていてもよい。
取得部１１は、第１符号化データを含む第１ストリームを取得し、その第１ストリームを出力部１４および変換部１２に出力する。第１符号化データは、フレーム内符号化データ（即ち、Ｉピクチャ）またはフレーム間符号化データ（即ち、ＰピクチャもしくはＢピクチャ）である。なお、フレーム内符号化データは、画面内予測、すなわちイントラ予測によって符号化されたフレームまたはピクチャであり、フレーム間符号化データは、画面間予測、すなわちインター予測によって符号化されたフレームまたはピクチャである。なお、図１において、第１ストリームと第２ストリームの一例を示す。「Ｉ１」および「Ｉ２」は、Ｉピクチャの符号化データを示し、「Ｐ１」～「Ｐ４」は、Ｐピクチャの符号化データを示す。
変換部１２は、第１符号化データをトランスコードする。変換部１２は、復号部１２ａと、符号化部１２ｂとを備える。復号部１２ａは、第１符号化データを復号することによって復号画像を生成する。符号化部１２ｂは、その復号画像を符号化することによって、第１符号化データを第２符号化データにトランスコードする。なお、符号化部１２ｂによって行われる符号化を、再符号化ともいう。
判断部１３は、第１ストリームに含まれる符号化データのそれぞれについて、その符号化データをトランスコードするか否かを判断する。判断部１３は、第２復号装置２２からの復号開始を求める要求信号が変換装置１０ａに受信された場合に、要求信号が受信された後に送信される１または複数の符号化データをトランスコードすると判断してもよい。例えば、判断部１３は、要求信号が受信された後（具体的には直後）に送信される第１符号化データをトランスコードすると判断する。なお、判断部１３は、要求信号が受信された後、第１ストリームに含まれる次のＩピクチャまでトランスコードすると判断してもよい。なお、次のＩピクチャは、要求信号が受信されたタイミングの後に、変換装置１０ａから最初に送信されるＩピクチャである。
出力部１４は、第１ストリームを第１復号装置２１に出力し、第２ストリームを第２復号装置２２に出力する。つまり、第１ストリームおよび第２ストリームが送信または伝送される。第２ストリームは、第２符号化データと、その第２符号化データに後続する１つまたは複数の符号化データとを含む。具体的には、出力部１４は、第２フレームと、第２フレームに後続する１つまたは複数のフレームを組合せ、さらに制御情報を付与することによって第２ストリームを生成する。
図２は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
図２に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、符号化データＩ１は、１番目のＩピクチャの符号化データであって、符号化データＰｎ（ｎは１～５のうちの何れかの整数）は、ｎ番目のＰピクチャの符号化データである。また、Ｐピクチャ（または符号化データＰｎ）は、直前の符号化データを参照して符号化されている。また、図２に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。言い換えれば、第１復号装置２１は、第１ストリームの先頭の符号化データからの再生を変換装置１０ａに要求し、第２復号装置２２は、第１ストリームの途中の符号化データからの再生を変換装置１０ａに要求する。このような要求は、要求信号として変換装置１０ａに送信される。
図２に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２の復号画像を符号化する。この符号化では、可逆のイントラ予測が用いられる。その結果、符号化部１２ｂは、可逆のフレーム内符号化データである符号化データＩ２を生成して出力部１４に出力する。これにより、変換部１２では、不可逆の符号化データＰ２が可逆の符号化データＩ２に変換される。言い換えれば、不可逆のＰピクチャが可逆のＩピクチャに変換される。
なお、可逆符号化は、例えば、動画像符号化規格のＨ．２６４またはＨ．２６５の拡張機能である、Ｈ．２６４ＬｏｓｓｌｅｓｓまたはＨ．２６５Ｌｏｓｓｌｅｓｓなどによる符号化である。また、符号化において量子化が行われる場合には、可逆符号化は、その量子化に用いられる量子化幅が１の符号化であってもよい。また、符号化データＰ２は、上述の第１符号化データであり、符号化データＩ２は、上述の第２符号化データである。
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
次に、判断部１３は、変換部１２に符号化データＰ３以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部１４は、符号化データＰ２に引き続き、符号化データＰ３以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
さらに、出力部１４は、上述の判断部１３による判断結果に基づき、符号化データＰ３以降の各符号化データの符号化方式を変換することなく、その各符号化データを第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これによって、符号化データＩ２と、第１ストリームのうちの符号化データＰ３以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。
ここで、符号化データＰ２の復号画像が、不可逆圧縮方式で符号化データＩ２に符号化されると、第２ストリームにおけるその符号化データＩ２の後続の符号化データは、その符号化データＩ２の復号画像を参照して復号される。その結果、第２ストリームの再生によって表示される映像が乱れる恐れがある。つまり、画質劣化が生じる可能性がある。
したがって、本実施の形態における符号化部１２ｂは、符号化データＰ２の復号画像を、可逆圧縮方式で符号化データＩ２に符号化する。これにより、映像の乱れを抑制することができる。なお、本開示では、可逆圧縮方式にしたがった符号化を、可逆符号化ともいい、不可逆圧縮方式にしたがった符号化を、不可逆符号化ともいう。また、可逆圧縮方式を、単に可逆ともいい、不可逆圧縮方式を、単に不可逆ともいう。
図３Ａは、本実施の形態における変換装置１０ａの動作の一例を示すフローチャートである。
まず、変換装置１０ａの取得部１１は、第１ストリームの符号化データを取得する（ステップＳ１０１）。次に、判断部１３は、第２ストリームの生成を開始するか否かを判断する（ステップＳ１０２）。ここで、第２ストリームの生成を開始しないと判断部１３によって判断されると（ステップＳ１０２のＮ）、出力部１４は、ステップＳ１０１で取得された符号化データを含む第１ストリームを第１復号装置２１に出力する（ステップＳ１０３）。
一方、第２ストリームの生成を開始すると判断部１３によって判断されると（ステップＳ１０２のＹ）、符号化部１２ｂは、第１ストリームの符号化データの復号画像をＩピクチャの符号化データに可逆に符号化する（ステップＳ１０４）。そして、出力部１４は、ステップＳ１０１で取得された符号化データを含む第１ストリームを、第１復号装置２１に出するとともに、ステップＳ１０４の符号化によって得られた符号化データを含む第２ストリームを、第２復号装置２２に出力する（ステップＳ１０５）。
図３Ｂは、本実施の形態における変換装置１０ａの動作の他の例を示すフローチャートである。この図３Ｂに示すフローチャートは、図３Ａのフローチャートの各ステップを含むとともに、さらに、ステップＳ１０６を含む。
つまり、ステップＳ１０２において、第２ストリームの生成を開始すると判断部１３によって判断されると（ステップＳ１０２のＹ）、符号化部１２ｂは、ステップＳ１０１で取得された符号化データがフレーム内符号化データであるか否かを判定する（ステップＳ１０６）。ここで、その符号化データがフレーム内符号化データでないと判定されると（ステップＳ１０６のＮ）、符号化部１２ｂは、その符号化データの復号画像を、Ｉピクチャの符号化データに可逆に符号化する（ステップＳ１０４）。一方、その符号化データがフレーム内符号化データであると判定されると（ステップＳ１０６のＹ）、符号化部１２ｂは、その符号化データの復号画像を符号化しない。つまり、その符号化データはトランスコードされない。
その結果、出力部１４は、ステップＳ１０４で符号化が行われた場合には、ステップＳ１０１で取得された符号化データを含む第１ストリームを出力し、さらに、ステップＳ１０４の符号化によって得られた符号化データを含む第２ストリームを出力する（ステップＳ１０５）。また、出力部１４は、ステップＳ１０４で再符号化が行われていない場合には、ステップＳ１０１で取得された符号化データをそれぞれ含む第１ストリームおよび第２ストリームを出力する（ステップＳ１０５）。
このように本実施の形態における変換装置１０ａは、第１ストリームを取得する取得部１１と、その第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部１２と、その第２ピクチャを含む第２ストリームを出力する出力部１４とを備える。第１ピクチャは、上述の符号化データＰ２に相当し、第２ピクチャは、上述の符号化データＩ２に相当する。例えば、変換部１２は、第１ピクチャを復号することによって、その第１ピクチャの復号画像を生成し、その第１ピクチャの復号画像を可逆符号化することによって、第１ピクチャを第２ピクチャに変換する。
これにより、例えば、第１ストリームが送信されているときに、第２復号装置２２が、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームがその第２復号装置２２に送信される。その結果、第２復号装置２２は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
また、図２に示すように、変換部１２は、第１ピクチャの復号画像をイントラ予測符号化することによって、第１ピクチャを２ピクチャに変換する。
これにより、第２ピクチャは可逆符号化されたＩピクチャであるため、第２ストリームの先頭に第２ピクチャが配置されていても、第２復号装置２２は、第２ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第１ストリームに含まれる各ピクチャのうち第１ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
つまり、出力部１４は、第１ストリームに含まれる、第１ピクチャの復号画像を参照して符号化されたピクチャである第３ピクチャが、復号順で第２ピクチャの後に配置されるように、第２ストリームにその第３ピクチャを含め、第３ピクチャを含む第２ストリームを出力する。第３ピクチャは、例えば図２に示す符号化データＰ３であって、第２復号装置２２に送信される第２ストリームには、第２ピクチャである符号化データＩ２と、第３ピクチャである符号化データＰ３とが含まれる。
これにより、第３ピクチャの符号化方式が変換されていなくても、その第２ストリームを受信する第２復号装置２２は、第２ピクチャの復号画像を参照して第３ピクチャを適切に復号することができる。
また、本実施の形態では、出力部１４は、さらに、取得部１１によって取得された第１ストリームを出力する。
これにより、第１ストリームを第１復号装置２１に送信しているときに、第２復号装置２２からの要求に応じて、第２ストリームをその第２復号装置２２に送信することができる。
また、本実施の形態では、変換装置１０ａは、さらに、第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部１３を備え、変換部１２は、判断部１３によって変換すると判断されたピクチャである第１ピクチャを、第２ピクチャに変換する。具体的には、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断する。例えば、図２に示す例では、そのタイミングに応じた符号化データＰ２の符号化方式を変換すると判断される。
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
また、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、その少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する。例えば、図２に示す例では、符号化データＰ４および符号化データＰ５の符号化方式を変換しないと判断される。
これにより、符号化方式の変換にかかる負荷を低減することができる。
なお、本実施の形態では、フレーム間符号化データは、直前の符号化データを参照して符号化されたＰピクチャであるが、この限りではない。フレーム間符号化データは、直前ではない符号化データを参照して符号化されていてもよいし、参照される符号化データは１つでなくてもよい。例えば、符号化またはトランスコードされる符号化データは、Ｐピクチャに限らず、Ｂピクチャであってもよい。
また、本実施の形態における変換装置１０ａは、判断部１３を備えているが、その判断部１３を備えていなくてもよい。この場合、判断部１３は、例えばパーソナルコンピュータなどの外部装置に備えられ、外部装置の判断部１３が、符号化部１２ｂと出力部１４とに指示信号を出力してもよい。
また、本実施の形態では、第２ストリームの生成を開始すると判断されたときに、その判断のタイミングに応じた１つの符号化データがトランスコードされる。しかし、変換装置１０ａは、第１ストリームにおけるその符号化データから、次のＩピクチャの符号化データまでの各符号化データをトランスコードしてもよい。
また、本実施の形態では、変換部１２の復号部１２ａは、第１ストリームに含まれる全ての符号化データを復号するが、一部の符号化データを復号してもよい。例えば、復号部１２ａは、Ｉピクチャから後続する所定の枚数のピクチャ（すなわち符号化データ）だけを復号してもよく、所定条件を満たす符号化データ、または所定条件を満たす期間に含まれる符号化データだけを復号してもよい。これにより、変換装置１０ａにおける消費電力を削減することができる。
また、本開示では、第１ストリームに含まれるフレームの符号化データを、第２ストリームに含まれる符号化データに変換する処理をトランスコードと呼んでいるが、この処理の呼び方は、トランスコードに限られない。例えば、この処理を単に符号化と呼んでもよい。つまり、変換装置を符号化装置と称してもよい。
（実施の形態２）
本実施の形態における変換装置１０ａは、図１に示す構成を有し、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第２ストリームとを出力する。ここで、本実施の形態における第２ストリームは、第１符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第２符号化データと、第３符号化データを可逆圧縮方式によりトランスコードすることによって得られる第４符号化データとを含む。なお、第３符号化データは、第１ストリームに含まれる、第１符号化データに後続する符号化データであって、その第１符号化データの復号画像を参照して符号化されたフレームの符号化データである。
例えば、第１符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式ではなく不可逆圧縮方式でその第１符号化データがフレーム内符号化データにトランスコードされるため、第２ストリームの符号量を削減できる可能性がある。
図４は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
図４に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、Ｐピクチャは、直前の符号化データを参照して符号化されている。また、図４に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。
図４に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部１２ｂは、その符号化によって得られたフレーム内符号化データである符号化データＩ２を出力部１４に出力する。これにより、変換部１２では、符号化データＰ２が、不可逆圧縮方式によって符号化されたＩピクチャの符号化データＩ２に変換される。言い換えれば、Ｐピクチャが不可逆のＩピクチャに変換される。
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
次に、判断部１３は、符号化データＰ２に後続する符号化データＰ３が変換部１２に入力されると、第１ストリームに含まれる符号化データＰ３をトランスコードすると判断する。その結果、判断部１３は、符号化データＰ３に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ３の復号画像を符号化する。つまり、符号化部１２ｂは、符号化データI２の復号画像を参照して、符号化データＰ３の復号画像を可逆圧縮方式で符号化する。そして、符号化部１２ｂは、その符号化によって得られたフレーム間符号化データである符号化データＰ６を出力部１４に出力する。これにより、変換部１２では、符号化データＰ３が、可逆圧縮方式によって符号化されたＰピクチャである符号化データＰ６に変換される。言い換えれば、不可逆のＰピクチャが可逆のＰピクチャに変換される。
出力部１４は、符号化データＰ３を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＰ６を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
次に、判断部１３は、変換部１２に符号化データＰ４以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部１４は、符号化データＰ３に引き続き、符号化データＰ４以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
さらに、出力部１４は、上述の判断部１３による判断結果に基づき、符号化データＰ４以降の各符号化データの符号化方式を変化することなく、その各符号化データを第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これにより、符号化データＩ２およびＰ６と、第１ストリームのうちの符号化データＰ４以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。また、実施の形態１よりも、第２ストリームの符号量を削減できる可能性がある。
つまり、本実施の形態では、変換部１２は、第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、第４ピクチャの復号画像を生成する。次に、変換部１２は、第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第４ピクチャを第５ピクチャに変換する。そして、第１ピクチャの第２ピクチャへの変換では、変換部１２は、第４ピクチャの復号画像を参照してインター予測符号化された第１ピクチャの復号画像を、その第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第１ピクチャを第２ピクチャに変換する。出力部１４は、その第５ピクチャおよび第２ピクチャを含む第２ストリームを出力する。例えば、第４ピクチャおよび第５ピクチャは、それぞれ図４に示す符号化データＰ２および符号化データＩ２に相当し、第１ピクチャおよび第２ピクチャは、それぞれ図４に示す符号化データＰ３および符号化データＰ６に相当する。
これにより、第１ストリームに含まれる第４ピクチャおよび第１ピクチャは、第２ストリームに含まれる第５ピクチャおよび第２ピクチャに変換される。つまり、不可逆符号化された符号化データＰ２と、不可逆符号化された符号化データＰ３とは、不可逆符号化された符号化データＩ２と、可逆符号化された符号化データＰ６とに、それぞれ変換される。
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データＰ６は、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャとして構成される。また、不可逆符号化された符号化データＰ２を、不可逆符号化されたＩピクチャである符号化データＩ２に変換することによって、１つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
なお、本実施の形態では、符号化データＰ３の復号画像を、可逆圧縮方式で符号化することによって、可逆の符号化データＰ６を生成するが、不可逆圧縮方式で符号化してもよい。この場合には、符号化データＰ２およびＰ３だけでなく、符号化データＰ４もトランスコードされる。つまり、変換部１２は、符号化データＰ４の復号画像を、可逆圧縮方式で符号化する。また、不可逆圧縮方式の符号化が行われる回数を増やすことで、可逆圧縮の符号化を行うタイミングを制御してもよい。
また、本実施の形態では、符号化データＩ２の直後の符号化データＰ６を可逆圧縮方式によって生成するが、可逆圧縮によって生成される符号化データは、符号化データＩ２に後続する符号化データであれば、直後の符号化データでなくてもよい。また、変換装置１０ａは、第２ストリームの生成を開始するタイミングに応じた符号化データから、次のＩピクチャの符号化データまでの各符号化データを、トランスコードしてもよい。
つまり、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
（実施の形態３）
本実施の形態における変換装置１０ａは、図１に示す構成を有し、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第２ストリームとを出力する。ここで、本実施の形態における第２ストリームは、第１符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第２符号化データと、第１符号化データを可逆圧縮方式によりトランスコードすることによって得られる第４符号化データとを含む。
例えば、第１符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式だけでなく不可逆圧縮方式でもその第１符号化データがトランスコードされるため、第２ストリームの符号量を削減できる可能性がある。つまり、実施の形態２では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の第１符号化データを第２符号化データと第４符号化データとにトランスコードする。ここで、第４符号化データのトランスコードには第２符号化データが参照される。それにより、第４符号化データの画像と、参照先の第２符号化データの画像との差分量を小さくすることができる。その結果、第２ストリームの符号量を削減できる可能性がある。
図５は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
図５に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、Ｐピクチャは、直前の符号化データを参照して符号化されている。また、図５に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。
図５に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部１２ｂは、その符号化によって得られたフレーム内符号化データである符号化データＩ２を出力部１４に出力する。これにより、変換部１２では、符号化データＰ２が、不可逆圧縮方式によって符号化されたＩピクチャである符号化データＩ２に変換される。言い換えれば、Ｐピクチャが不可逆のＩピクチャに変換される。
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
ここで、本実施の形態では、復号部１２ａは、符号化データＩ２を復号することによって、符号化データＩ２に対応する復号画像を生成する。符号化部１２ｂは、符号化データＰ２の復号画像を、符号化データＩ２の復号画像を参照して可逆圧縮方式で符号化する。そして、符号化部１２ｂは、その符号化によって得られたフレーム間符号化データである符号化データＰ７を、出力部１４に出力する。
出力部１４は、その符号化データＰ７を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
次に、判断部１３は、変換部１２に符号化データＰ３以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部１４は、符号化データＰ２に引き続き、符号化データＰ３以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
さらに、出力部１４は、符号化データＰ３以降の各符号化データを、第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これにより、符号化データＩ２およびＰ７と、第１ストリームのうちの符号化データＰ３以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。また、実施の形態１よりも、第２ストリームの符号量を削減できる可能性がある。また、実施の形態２では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の符号化データＰ２を符号化データＩ２と符号化データＰ７とにトランスコードする。ここで、符号化データＰ７へのトランスコードには符号化データＩ２が参照される。それにより、符号化データＰ７の画像と、参照先の符号化データＩ２の画像との差分量を小さくすることができる。その結果、第２ストリームの符号量を削減できる可能性がある。
つまり、本実施の形態では、変換部１２は、第１ストリームに含まれる、不可逆にインター予測符号化された第１ピクチャを復号することによって、第１ピクチャの復号画像を生成する。次に、変換部１２は、第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第１ピクチャを第４ピクチャに変換する。そして、第１ピクチャの第２ピクチャへの変換では、第１ピクチャの復号画像を、第４ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第１ピクチャを第２ピクチャに変換する。出力部１４は、その第４ピクチャおよび第２ピクチャを含む第２ストリームを出力する。例えば、第４ピクチャは、図５に示す符号化データＩ２に相当し、第１ピクチャおよび第２ピクチャは、それぞれ図５に示す符号化データＰ２および符号化データＰ７に相当する。
これにより、第１ストリームに含まれる第１ピクチャは、第２ストリームに含まれる第４ピクチャと第２ピクチャとに変換される。つまり、不可逆符号化された符号化データＰ２は、不可逆符号化された符号化データＩ２と、可逆符号化された符号化データＰ７とに変換される。
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データＰ７は、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャとして構成される。また、符号化データＩ２と符号化データＰ７とはそれぞれ、同じ符号化データＰ２からの変換によって生成されるため、符号化データＩ２と符号化データＰ７との画像は類似している。その結果、符号化データＰ２から符号化データＰ７への変換に、その符号化データＩ２の復号画像が参照されることによって、その符号化データＰ７の符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
なお、本実施の形態における変換装置１０ａは、第２ストリームの生成を開始するタイミングに応じた符号化データから、次のＩピクチャの符号化データまでの各符号化データを、トランスコードし続けてもよい。
（実施の形態４）
本実施の形態における符号化装置は、動画像を符号化することによって第１ストリームを生成する符号化部と、その第１ストリームから第２ストリームを生成する変換装置とを含む。
図６は、本実施の形態における符号化装置の構成を示すブロック図である。なお、図６において、実施の形態１の図１に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図６に示すように、符号化装置２００は、第１符号化部１００と変換装置１０ｂとを備える。
第１符号化部１００は、スライス分割部１０１と、減算器１０２と、直交変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、デブロッキングフィルタ１０９と、メモリ１１０と、イントラ予測部１１１と、インター予測部１１２と、動き検出部１１３と、イントラ／インター判定部１１４とを備える。
スライス分割部１０１は、複数のピクチャを含む動画像信号を取得し、それぞれのピクチャを複数のスライスまたはスライスセグメントに分割する。
減算器１０２は、複数のピクチャを含む動画像信号を取得するとともに、イントラ／インター判定部１１４から予測画像を取得する。そして、減算器１０２は、その動画像信号に含まれるピクチャのうちの符号化の対象とされるブロック（以下、対象ブロックという）から予測画像を減算することによって差分画像を生成する。ブロックは、例えばＣＴＵ（Coding Tree Unit）、ＣＵ（Coding Unit）、ＰＵ（Prediction Unit）またはＴＵ（Transform Unit）に相当する。
直交変換部１０３は、減算器１０２によって生成された差分画像に対して、例えば離散コサイン変換などの直交変換（周波数変換）を行うことによって、その差分画像を複数の周波数係数からなる係数列に変換する。量子化部１０４は、その係数列に含まれる各周波数係数を量子化することによって、量子化された係数列を生成する。
逆量子化部１０６は、量子化部１０４によって量子化された係数列を逆量子化する。逆直交変換部１０７は、その逆量子化された係数列に含まれる各周波数係数に対して逆離散コサイン変換などの逆直交変換（逆周波数変換）を行うことによって、復号差分画像を生成する。
加算器１０８は、イントラ／インター判定部１１４から予測画像を取得し、その予測画像と、逆直交変換部１０７によって生成された復号差分画像とを加算することによって局所復号画像（再構成画像）を生成する。
デブロッキングフィルタ１０９は、加算器１０８によって生成された局所復号画像のブロック歪みを除去し、その局所復号画像をメモリ１１０に格納する。
メモリ１１０は、インター予測の際の参照画像として局所復号画像を格納するためのメモリである。なお、このメモリ１１０は復号ピクチャバッファ（ＤＰＢ）として用いられる。
イントラ予測部１１１は、加算器１０８によって生成された局所復号画像を用いて、対象ブロックに対してイントラ予測を行うことによって予測画像（イントラ予測画像）を生成する。
動き検出部１１３は、動画像信号に含まれる対象ブロックに対して動きベクトルを検出し、その検出された動きベクトルをインター予測部１１２とエントロピー符号化部１０５とに出力する。
インター予測部１１２は、メモリ１１０に格納されている画像を参照画像として参照するとともに、動き検出部１１３によって検出された動きベクトルを用いることによって、対象ブロックに対して動き補償を行う。インター予測部１１２は、このような動き補償を行うことによって、つまり対象ブロックに対してインター予測を行うことによって、対象ブロックの予測画像（インター予測画像）を生成する。
イントラ／インター判定部１１４は、対象ブロックをイントラ予測符号化するか、インター予測符号化するかを判定する。対象ブロックがイントラ予測符号化される場合には、イントラ／インター判定部１１４は、イントラ予測部１１１によって生成された予測画像（イントラ予測画像）を減算器１０２および加算器１０８に出力する。一方、イントラ／インター判定部１１４は、対象ブロックがインター予測符号化される場合には、インター予測部１１２によって生成された予測画像（インター予測画像）を減算器１０２および加算器１０８に出力する。
エントロピー符号化部１０５は、量子化部１０４によって量子化された係数列と、動き検出部１１３によって検出された動きベクトルとを、エントロピー符号化（可変長符号化）することによってビットストリームを生成する。つまり、エントロピー符号化部１０５は、エントロピー符号化することによって、ビットストリームである第１ストリームを取得し、その第１ストリームを変換装置１０ｂに出力する。言い換えれば、エントロピー符号化部１０５は、実施の形態１～３の変換装置１０ａの取得部１１としての機能を有する。
変換装置１０ｂは、実施の形態１～３の変換装置１０ａと同様の機能を有する。具体的には、変換装置１０ｂは、第２符号化部１２ｃと、判断部１３と、出力部１４とを備える。第２符号化部１２ｃは、実施形態１～３の変換装置１０ａにおける符号化部１２ｂと同一の機能を有する。ここで、変換装置１０ｂは、復号部１２ａを備えていないが、第１符号化部１００のメモリ１１０に格納されている各画像を、第１ストリームに含まれる各符号化データの復号画像として取得する。つまり、第２符号化部１２ｃは、第１符号化部１００のメモリ１１０に格納されている復号画像に対して符号化処理を施す。それにより、構成を簡素化し得る。
なお、第２符号化部１２ｃは、第１符号化部１００と同一の構成を有していてもよい。この場合、第２符号化部１２ｃにおける量子化部１０４は、上述の係数列に含まれる各周波数係数を量子化することなく、エントロピー符号化部１０５に出力する。これにより、第２符号化部１２ｃは、画像に対する可逆の符号化を実現することができる。または、第２符号化部１２ｃにおける量子化部１０４は、上述の係数列に含まれる各周波数係数に対して、量子化幅が１の量子化を行ってもよい。これにより、上述と同様、第２符号化部１２ｃは、画像に対する可逆の符号化を実現することができる。また、実施形態１～３の変換装置１０ａにおける符号化部１２ｂも、第２符号化部１２ｃと同様、第１符号化部１００と同一の構成を有していてもよい。この場合でも、符号化部１２ｂは、量子化の処理を省いたり、量子化幅が１の量子化を行うことによって、画像に対する可逆の符号化を実現してもよい。
（実施の形態５）
本実施の形態における映像配信システムは、変換装置を含む映像配信装置を備える。
図７は、本実施の形態における映像配信システムの構成図である。
映像配信システム３００Ａは、図７に示すように、変換装置を用いた映像配信装置３１０と、映像受信装置３２０および３３０とを備える。
映像配信装置３１０は、撮像部３１１、エンコード部３１２、変換装置３１３、および送信部３１４を備える。このような映像配信装置３１０は、ネットワークを介して映像受信装置３２０および３３０のそれぞれと接続し、ストリームである映像データを映像受信装置３２０および３３０のそれぞれに送信する。
撮像部３１１は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部３１２に入力される。
エンコード部３１２は、撮像部３１１から入力される映像信号を符号化して、符号化データを生成し、変換装置３１３に出力する。
変換装置３１３は、実施形態１～３の変換装置１０ａである。実施形態１～３の第１復号装置２１が映像受信装置３２０に相当し、第２復号装置２２が映像受信装置３３０に相当する。映像配信装置３１０の映像データの送信先が映像受信装置３２０のみの場合は、変換装置３１３は、第１ストリームのみを送信部３１４に出力する。例えば、映像配信装置３１０は、映像受信装置３２０に映像データを送信している途中に、映像受信装置３３０にも映像データの配信を開始する要求を、その映像受信装置３３０から受け付ける場合がある。このような場合、変換装置３１３は、実施の形態１～３と同じ方法で第１ストリームと一緒に第２ストリームを送信部３１４に出力する。
なお、エンコード部３１２と変換装置３１３とを含むユニットは、実施の形態４における符号化装置２００であってもよい。
送信部３１４は、変換装置３１３から出力されたストリームを、映像受信装置３２０および３３０のうちの少なくとも一方に送信する。本実施の形態の場合、送信部３１４は、第１ストリームを映像受信装置３２０に送信し、第２ストリームを映像受信装置３３０に送信する。ネットワークを介して映像配信装置３１０と映像受信装置３２０および３３０のそれぞれとが接続されている場合は、送信部３１４は、ストリームを複数のＩＰパケットに変換して伝送しても良い。
映像受信装置３２０および３３０のそれぞれは、受信部３４１、復号部３４２および表示部３４３を備えている。受信部３４１は、映像配信装置３１０からストリームを受信して復号部３４２に出力する。また、受信部３４１は、複数のＩＰパケットを受信した場合は、その複数のＩＰパケットをストリームに変換し、そのストリームを復号部３４２に出力する。復号部３４２は、ストリームを復号することによって映像信号を生成し、その映像信号を表示部３４３に出力する。表示部３４３は、復号部３４２によって生成された映像信号に従って、映像を表示する。
この構成により、映像配信装置３１０は、映像受信装置３２０にストリームを送信している途中でも、次のフレーム内符号化データまで待つことなく、任意のタイミングの符号化データから映像受信装置３３０にストリームを送信することが可能である。ここで、例えば、複数の映像受信装置のそれぞれへのストリームの送信を、任意のタイミングで開始することができるように、エンコード部および変換装置からなるユニットを映像配信装置に複数備えることが想定される。しかし、本実施の形態では、変換装置３１３は、実施の形態１～３の変換装置１０ａとしての機能を有し、エンコード部３１２および変換装置３１３からなるユニットは、実施の形態４の符号化装置２００としての機能を有する。したがって、映像配信装置３１０は、映像受信装置ごとに、エンコード部３１２と変換装置３１３とからなるユニットを複数備えなくても、任意のタイミングで複数の映像受信装置のそれぞれにストリームの送信を開始することが可能である。
また、本実施の形態における映像受信装置３２０および３３０は、実施の形態１～３における第１復号装置２１および第２復号装置２２にそれぞれ対応する。また、映像受信装置３２０および３３０はそれぞれ、第２ピクチャを含む第２ストリームを受信する受信部３４１と、その第２ストリームを復号することによって映像信号を生成する復号部３４２と、映像信号にしたがって映像を表示する表示部３４３とを備える。ここで、第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
これにより、例えば、第１ストリームが送信されているときに、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求すると、受信部３４１は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームを受信する。その結果、復号部３４２は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
（実施の形態６）
本実施の形態における映像配信システムは、変換装置を含む映像中継装置を備える。
図８は、本実施の形態における映像配信システムの構成図である。図８において、実施の形態５の図７に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
映像配信システム３００Ｂは、図８に示すように、映像送信装置３５０と、映像中継装置３６０と、映像受信装置３２０および３３０とを備える。
映像送信装置３５０は、撮像部３１１、エンコード部３１２、および送信部３５１を備える。
撮像部３１１は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部３１２に入力される。
エンコード部３１２は、撮像部３１１から入力される映像信号を符号化して、符号化データを生成し、変換装置３１３に出力する。
送信部３５１は、エンコード部３１２から出力された符号化データを含むストリームを映像中継装置３６０に送信する。
映像中継装置３６０は、映像送信装置３５０とネットワークを介して接続し、その映像送信装置３５０からストリームを受信する。また、映像中継装置３６０は、映像受信装置３２０および３３０のそれぞれとネットワークを介して接続され、映像データであるストリームを映像受信装置３２０および３３０のそれぞれに送信する。
映像中継装置３６０は、受信部３６１、変換装置３１３、および送信部３１４を備える。
受信部３６１は、映像送信装置３５０からストリームを受信する。
変換装置３１３は、実施の形態１～３の変換装置１０ａである。実施形態１～３の第１復号装置２１が映像受信装置３２０に相当し、第２復号装置２２が映像受信装置３３０に相当する。映像配信装置３１０の映像データの送信先が映像受信装置３２０のみの場合は、変換装置３１３は、第１ストリームのみを送信部３１４に出力する。例えば、映像中継装置３６０は、映像受信装置３２０に映像データを送信している途中に、映像受信装置３３０にも映像データの配信を開始する要求を、その映像受信装置３３０から受け付ける場合がある。このような場合、変換装置３１３は、実施の形態１～３と同じ方法で第１ストリームと一緒に第２ストリームを送信部３１４に出力する。
送信部３１４は、変換装置３１３から出力されたストリームを、映像受信装置３２０および３３０のうちの少なくとも一方に送信する。本実施の形態の場合、送信部３１４は、第１ストリームを映像受信装置３２０に送信し、第２ストリームを映像受信装置３３０に送信する。ネットワークを介して映像配信装置３１０と映像受信装置３２０および３３０のそれぞれとが接続されている場合は、送信部３１４は、ストリームを複数のＩＰパケットに変換して伝送しても良い。
映像受信装置３２０および３３０のそれぞれは、映像中継装置３６０からストリームを受信して復号することによって映像信号を生成し、その映像信号にしたがった映像を表示する。
（実施の形態７）
本実施の形態における映像再生システムは、変換装置を含む映像記録再生装置を備える。
図９は、本実施の形態における映像再生システムの構成図である。図９において、実施の形態５の図７または実施の形態６の図８に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図９に示すように、映像再生システム４００Ａは、映像送信装置３５０と、映像記録再生装置４１０とを備える。
映像送信装置３５０は、実施の形態６における映像送信装置３５０と同一の構成を有し、ネットワークを経由して映像記録再生装置４１０に接続されている。
映像記録再生装置４１０は、受信部３６１、変換装置３１３、記録部４１１、記録媒体４１２、読込部４１３、復号部３４２および表示部３４３を備える。このような映像記録再生装置４１０は、映像送信装置３５０からネットワーク経由でストリームを受信しながらすぐに再生するリアルタイム再生機能（いわゆるストリーミング機能）と、ストリームを記録媒体４１２に記録する記録機能と、記録されたストリームを再生する記録再生機能とを有している。
受信部３６１は、映像送信装置３５０の送信部３５１からＩＰパケットを順次取得し、それらのＩＰパケットから、符号化データを含むストリームを生成し、そのストリームを変換装置３１３に出力する。
変換装置３１３は、実施形態１～３の変換装置１０ａである。
リアルタイム再生機能の処理が行われる場合、変換装置３１３は、受信部３６１から出力されるストリームに対して変換を行うことなく、そのストリームを第１ストリームとして復号部３４２に出力する。
リアルタイム再生機能の処理が行われている途中で、記録機能の処理が開始される場合、変換装置３１３は、受信部３６１から出力されるストリームを第１ストリームとして扱い、実施の形態１～３と同じ方法で第１ストリームから第２ストリームを生成する。そして、変換装置３１３は、第２ストリームを記録媒体４１２に格納する。
記録機能の処理が行われる場合にも、変換装置３１３は、受信部３６１から出力されるストリームを第１ストリームとして扱い、その第１ストリームから第２ストリームを生成する。しかし、この場合には、変換装置３１３の判断部１３は、受信部３６１から第１ストリームが出力されている間、上述の再符号化の指示信号を周期的に出力する。例えば、判断部１３は、第１ストリームのＧＯＰよりも短い周期で指示信号を出力する。これにより、可逆圧縮されたＩピクチャまたはＰピクチャの符号化データがより短い周期で配置されている第２ストリームが生成される。そして、変換装置３１３は、その第２ストリームを記録媒体４１２に格納する。
なお、判断部１３は、第１ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部１３は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。
記録部４１１は、変換装置３１３から出力される第２ストリームを記録媒体４１２に記録する。記録媒体４１２は、メモリ、ＨＤＤ（hard disk drive）、またはＳＳＤ（solid state drive）などの記憶装置であってもよく、取り外し可能なＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ、または、ネットワーク経由で接続可能なＮＡＳ（Network Attached Storage）などであってもよい。
読込部４１３は、記録再生機能が利用される場合に、記録媒体４１２から第２ストリームを読み込み、その第２ストリームのうちの、再生開始位置のフレーム以降の各符号化データを復号部３４２に出力する。なお、再生開始位置のフレームの符号化データは、フレーム内符号化されたフレームであってもよい。
復号部３４２は、変換装置３１３または読込部４１３から出力されるストリームを復号することによって映像信号を生成し、その映像信号を表示部３４３に出力する。
表示部３４３は、復号部３４２から出力される映像信号に従って、映像を表示する。
なお、受信部３６１、変換装置３１３、および記録部４１１と、読込４１３部、復号部３４２、および表示部３４３とは、それぞれ異なる装置に備えられていてもよい。
このような映像記録再生装置４１０は、受信されたストリームの途中から記録を開始することができる。また、任意のフレームを可逆圧縮方式で符号化またはフレーム内符号化することで、復号を開始できるフレームを増やすことができる。
図１０は、可逆圧縮方式のトランスコードを説明するための図である。
本実施の形態における変換装置３１３は、図１０に示すように、エンコード部３１２によって生成された第１ストリームに含まれる不可逆の符号化データＰ２を、可逆の符号化データＰ２にトランスコードする。これにより、可逆の符号化データＰ２を含む第２ストリームが記録媒体４１２に蓄積される。
そのトランスコードでは、変換装置３１３は、符号化データＰ２によって参照される符号化データを変更してもよい。例えば、符号化データＰ２は、符号化データＰ１の復号画像を参照して不可逆に符号化されたピクチャである。変換装置３１３の復号部１２ａは、その不可逆の符号化データＰ２を復号することによって復号画像を生成する。そして、変換装置３１３の符号化部１２ｂは、その復号画像を可逆のインター予測によって符号化する。このとき、符号化部１２ｂは、その符号化データＰ２の直前の符号化データＰ１の復号画像ではなく、ロングタームの符号化データＩ１の復号画像を参照して、インター予測符号化を行う。
これにより、復号部３４２が、記録媒体４１２に蓄積されている第２ストリームを例えば早送り再生するときには、符号化データＰ２の直前の符号化データＰ１を復号しなくても、その符号化データＰ２を適切に復号することができる。さらに、復号部３４２は、その符号化データＰ２に後続する他の符号化データＰ３およびＰ４も適切に復号することができる。つまり、映像の乱れを抑えて第２ストリームを適切に再生することができる。
図１１は、本実施の形態における他の映像再生システムの構成図である。図１１において、図９に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図１１に示す映像再生システム４００Ｂは、映像記録再生装置４１０の代わりに、映像記録装置４１０Ａと、記録媒体４１２と、映像再生装置４１０Ｂとを備える。映像記録装置４１０Ａは、受信部３６１と、変換装置３１３と、記録部４１１とを備える。映像再生装置４１０Ｂは、読込部４１３と、復号部３４２と、表示部３４３とを備える。この映像再生装置４１０Ｂは、上述の映像記録再生装置４１０と同様に、記録機能を有するが、リアルタイム再生機能を有さない。また、映像記録装置４１０Ａの変換装置３１３に備えられている判断部１３は、映像記録再生装置４１０の変換装置３１３に備えられている判断部１３と同様、上述の再符号化の指示信号を周期的に出力してもよい。あるいは、判断部１３は、第１ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部１３は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。それにより、ストリームの記録再生をＧＯＰの途中から開始することができる。
以上、一つまたは複数の態様に係る変換装置および復号装置などについて、上記各実施の形態に基づいて説明したが、本開示は、それらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
図１２は、変換装置１０ａの構成の他の例を示すブロック図である。
変換装置１０ａは、プロセッサ１と、メモリ２とを備える。プロセッサ１は、そのメモリ２を用いて、第１ストリームを取得し、第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換し、第２ピクチャを含む第２ストリームを出力する。メモリ２には、プロセッサ１に上記各処理を実行させるためのプログラムが格納されていてもよい。この場合には、プロセッサ１は、そのプログラムを実行することによって、ピクチャの変換などの上記各処理を実行する。または、メモリ２は、取得された第１メモリを保持するために用いられてもよく、第２ピクチャを保持するために用いられてもよい。なお、変換装置１０ｂも、変換装置１０ａと同様、図１２に示す構成を有していてもよい。
また、上記各実施の形態の変換装置などを実現するソフトウェアは、図３Ａまたは図３Ｂに示すフローチャートに含まれる各ステップをコンピュータに実行させてもよい。
また、上記各実施の形態では、符号化データは、ピクチャまたはフレームが符号化されることによって得られるデータであるが、ピクチャまたはフレーム以外の画像単位を符号化することによって得られるデータであってもよい。その画像単位は、例えば、ブロック、スライスまたはシーケンスなどであってもよい。
また、本開示の一態様に係る符号化装置は、複数の装置で構成されていてもよい。例えば、符号化装置は、画像を符号化して符号化データを出力する送信機と、中継装置とによって構成されていてもよい。中継装置は、送信機から符号化データを受信し、符号化データを復号してトランスコードを行う変換部と、符号化データを受信機に送信する送信部と、受信機からの要求信号を受信する受信部とを備えていてもよい。
また、本開示の一態様に係る変換装置は、符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。符号化部は、第１ストリームに含まれる第１符号化データを復号して得られる復号画像に対して、符号化処理を施して第２符号化データを生成する。ここで、第１符号化データは映像信号を符号化することにより生成されており、第２符号化データは第１期間に対応する。出力部は、第２符号化データと、その第１の期間に後続する第２期間に対応する符号化データとを含む第２ストリームを出力する。ここで、第１符号化データおよび第２符号化データは、それぞれ例えば図２に示す符号化データＰ２および符号化データＩ２である。また、第２期間に対応する符号化データは、例えば図２に示す符号化データＰ３である。また、上述の符号化部および出力部は、それぞれ例えば図１に示す符号化部１２ｂおよび出力部１４に対応する。
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部を備える。この符号化部は、映像信号に含まれる第１フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第１符号化データを生成する。次に、符号化部は、その映像信号に含まれる第２フレームの画像に対して、第１フレームを参照したフレーム間符号化処理を施して第２符号化データを生成する。そして、符号化部は、その第１フレームに対応し、且つ第２フレームの符号化に用いた参照画像に対して、可逆圧縮方式を用いた符号化処理を施して第３符号化データを生成する。ここで、第１符号化データ、第２符号化データおよび第３符号化データは、それぞれ例えば図２に示す符号化データＰ２、符号化データＰ３および符号化データＩ２である。また、上述の符号化部は、例えば図６に示す第１符号化部１００に対応する。
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。この符号化部は、映像信号に含まれる第１フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第１符号化データを生成する。次に、符号化部は、その映像信号に含まれる第２フレームの画像に対して、第１フレームを参照したフレーム間符号化処理を施して第２符号化データを生成する。そして、符号化部は、その第１フレームに対応し、且つ第２フレームの符号化に用いた参照画像に対して、他のフレームを参照しない符号化処理を施して第３符号化データを生成する。また、出力部は、第１符号化データと第２符号化データを含む第１ストリームと、第３符号化データと第２符号化データを含む第２ストリームとを出力する。ここで、第１符号化データ、第２符号化データおよび第３符号化データは、それぞれ例えば図２に示す符号化データＰ２、符号化データＰ３および符号化データＩ２である。また、上述の符号化部および出力部は、例えば図６に示す第１符号化部１００および出力部１４にそれぞれ対応する。
また、第３符号化データは、他の装置からの要求に応じてあらかじめ定められた期間のみ生成されてもよい。
また、本開示の一態様に係る変換装置は、符号化された映像ストリームを変換する変換装置であって、判断部と、再符号化部と、出力部とを備えていてもよい。判断部は、入力された第１ストリームに含まれる符号化データを変換するか否か判断する。再符号化部は、その判断部で変換すると判断された変換前の符号化データを再符号化する。出力部は、その判断部で変換しないと判断された非変換の符号化データと、再符号化部で再符号化された変換後の符号化データとを含む第２ストリームを出力する。
ここで、再符号化部は、上述の変換前の符号化データを復号して得られる画像に対して、可逆圧縮方式でフレーム内符号化データに符号化してもよい。
また、再符号化部は、第１変換前符号化データを復号して得られた第１画像を、不可逆圧縮方式でフレーム内符号化データに符号化する。再符号化部は、その第１変換前符号化データに後続する第２変換前符号化データを復号して得られた第２画像を、その第１画像を参照してフレーム間符号化データに可逆圧縮方式で符号化してもよい。
また、再符号化部は、第１変換前符号化データを復号して得られた第１画像を、フレーム内符号化データに不可逆圧縮方式で符号化し、そのフレーム内符号化データを復号して得られる第２画像を参照して、その第１画像をフレーム間符号化データに可逆圧縮方式で符号化してもよい。
また、判断部は、復号を開始したい第１符号化データを第１変換前符号化データと判断し、第１符号化データの後続する第２符号化データを非変換符号化データと判断してもよい。
また、判断部は、復号を開始したい第１符号化データと第１符号化データに後続する１つ以上の第２符号化データとのそれぞれを、変換前符号化データと判断し、その次の符号化データを非変換符号化データと判断してもよい。
本開示にかかる変換装置、符号化装置、映像配信システム、および映像再生システムなどは、例えば監視カメラやテレビ会議システムなどデータの符号化または復号を行う機器またはシステムに適用できる。
１０ａ、１０ｂ 変換装置
１１ 取得部
１２ 変換部
１２ａ 復号部
１２ｂ 符号化部
１２ｃ 第２符号化部
１３ 判断部
１４ 出力部
２１ 第１復号装置
２２ 第２復号装置
１００ 第１符号化部
１０１ スライス分割部
１０２ 減算器
１０３ 直交変換部
１０４ 量子化部
１０５ エントロピー符号化部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 加算器
１０９ デブロッキングフィルタ
１１０ メモリ
１１１ イントラ予測部
１１２ インター予測部
１１３ 動き検出部
１１４ イントラ／インター判定部
２００ 符号化装置
３００Ａ、３００Ｂ 映像配信システム
３１０ 映像配信装置
３１１ 撮像部
３１２ エンコード部
３１３ 変換装置
３１４ 送信部
３２０、３３０ 映像受信装置
３４１ 受信部
３４２ 復号部
３４３ 表示部
４００Ａ、４００Ｂ 映像再生システム
４１０ 映像記録再生装置
４１０Ａ 映像記録装置
４１０Ｂ 映像再生装置
４１１ 記録部
４１２ 記録媒体
４１３ 読込部

Claims (12)

  1. 第１ストリームを取得する取得部と、
    前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、
    （１）変換された前記第２ピクチャと、（２）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化された第３ピクチャとを含む第２ストリームを出力する出力部と、を備え、
    前記第２ピクチャは、前記第２ストリームに含まれる複数のピクチャのうち、復号順で先頭のピクチャであり、
    前記第３ピクチャは、復号順で前記第２ピクチャの後に配置され、
    前記第１ピクチャの復号画像は、前記第２ピクチャの復号画像と等しい、
    変換装置。
  2. 前記出力部は、さらに、前記取得部によって取得された前記第１ストリームを出力する、
    請求項１に記載の変換装置。
  3. 前記変換装置は、さらに、
    前記第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、
    前記変換部は、
    前記判断部によって変換すると判断されたピクチャである前記第１ピクチャを、前記第２ピクチャに変換する、
    請求項１または２に記載の変換装置。
  4. 前記判断部は、
    前記第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断する
    請求項３に記載の変換装置。
  5. 前記判断部は、
    前記第１ストリームに含まれる複数のピクチャのうち、前記少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する
    請求項４に記載の変換装置。
  6. 前記変換部は、
    前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、
    前記第１ピクチャの復号画像を可逆符号化することによって、前記第１ピクチャを前記第２ピクチャに変換する
    請求項１～５の何れか１項に記載の変換装置。
  7. 前記変換部は、
    前記第１ピクチャの復号画像をイントラ予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換する
    請求項６に記載の変換装置。
  8. 第１ストリームを取得する取得部と、
    前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、
    （１）変換された前記第２ピクチャと、（２）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化された第３ピクチャとを含む第２ストリームを出力する出力部と、を備え、
    前記第３ピクチャは、復号順で前記第２ピクチャの後に配置され、
    前記変換部は、さらに、
    前記第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、前記第４ピクチャの復号画像を生成し、
    前記第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第４ピクチャを第５ピクチャに変換し、
    前記第１ピクチャの前記第２ピクチャへの変換では、
    前記第４ピクチャの復号画像を参照してインター予測符号化された前記第１ピクチャの復号画像を、前記第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、
    前記出力部は、
    前記第５ピクチャ、前記第２ピクチャ、および前記第３ピクチャを含む前記第２ストリームを出力する、
    変換装置。
  9. 第１ストリームを取得する取得部と、
    前記第１ストリームに含まれる第１ピクチャを変換する変換部と、
    第２ストリームを出力する出力部とを備え、
    前記変換部は、
    （１）前記第１ストリームに含まれる、不可逆にインター予測符号化された前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、
    （２）前記第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第１ピクチャを第２ピクチャに変換し、
    （３）前記第１ピクチャの復号画像を、前記第２ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを第３ピクチャに変換し、
    前記第２ストリームは、前記第２ピクチャおよび前記第３ピクチャを含む、
    変換装置。
  10. 第２ストリームを受信する受信部と、
    前記第２ストリームを復号することによって映像信号を生成する復号部と、
    前記映像信号にしたがって映像を表示する表示部とを備え、
    前記第２ストリームは、第２ピクチャと、第３ピクチャとを含み、
    前記第２ピクチャは、
    （１）第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャであって、かつ、
    （２）前記第２ストリームに含まれる複数のピクチャのうち、復号順で先頭のピクチャであり、
    前記第３ピクチャは、
    （１）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化されおり、かつ、
    （２）復号順で前記第２ピクチャの後に配置され、
    前記第１ピクチャの復号画像は、前記第２ピクチャの復号画像と等しい、
    復号装置。
  11. コンピュータがピクチャの符号化方式を変換する変換方法であって、
    第１ストリームを取得し、
    前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換し、
    （１）変換された前記第２ピクチャと、（２）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化された第３ピクチャとを含む第２ストリームを出力し、
    前記第２ピクチャは、前記第２ストリームに含まれる複数のピクチャのうち、復号順で先頭のピクチャであり、
    前記第３ピクチャは、復号順で前記第２ピクチャの後に配置され、
    前記第１ピクチャの復号画像は、前記第２ピクチャの復号画像と等しい、
    変換方法。
  12. コンピュータがストリームを復号する復号方法であって、
    第２ストリームを受信し、
    前記第２ストリームを復号することによって映像信号を生成し、
    前記映像信号にしたがって映像を表示し、
    前記第２ストリームは、第２ピクチャと、第３ピクチャとを含み、
    前記第２ピクチャは、
    （１）第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャであって、かつ、
    （２）前記第２ストリームに含まれる複数のピクチャのうち、復号順で先頭のピクチャであり、
    前記第３ピクチャは、
    （１）前記第１ストリームに含まれ、かつ、前記第１ピクチャの復号画像を参照して符号化されおり、かつ、
    （２）復号順で前記第２ピクチャの後に配置され、
    前記第１ピクチャの復号画像は、前記第２ピクチャの復号画像と等しい、
    復号方法。
JP2018170854A 2018-09-12 2018-09-12 変換装置、復号装置、変換方法および復号方法 Active JP7378035B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018170854A JP7378035B2 (ja) 2018-09-12 2018-09-12 変換装置、復号装置、変換方法および復号方法
PCT/JP2019/026648 WO2020054190A1 (ja) 2018-09-12 2019-07-04 変換装置、復号装置、変換方法および復号方法
EP19859227.1A EP3852369A4 (en) 2018-09-12 2019-07-04 CONVERSION DEVICE, DECODING DEVICE, CONVERSION PROCESS AND DECODING PROCESS
CN201980058196.0A CN112655213A (zh) 2018-09-12 2019-07-04 变换装置、解码装置、变换方法以及解码方法
US17/196,299 US11490121B2 (en) 2018-09-12 2021-03-09 Transform device, decoding device, transforming method, and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018170854A JP7378035B2 (ja) 2018-09-12 2018-09-12 変換装置、復号装置、変換方法および復号方法

Publications (2)

Publication Number Publication Date
JP2020043519A JP2020043519A (ja) 2020-03-19
JP7378035B2 true JP7378035B2 (ja) 2023-11-13

Family

ID=69777110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170854A Active JP7378035B2 (ja) 2018-09-12 2018-09-12 変換装置、復号装置、変換方法および復号方法

Country Status (5)

Country Link
US (1) US11490121B2 (ja)
EP (1) EP3852369A4 (ja)
JP (1) JP7378035B2 (ja)
CN (1) CN112655213A (ja)
WO (1) WO2020054190A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311267A (ja) 2005-04-28 2006-11-09 Toshiba Corp 電子機器およびコンテンツ管理方法
JP2009544176A (ja) 2006-03-29 2009-12-10 ヴィドヨ，インコーポレーテッド スケーラブルビデオコーデックと非スケーラブルビデオコーデックとの間でトランスコードを行うためのシステム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380981B2 (ja) 1998-06-19 2003-02-24 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP2001257888A (ja) * 2000-03-09 2001-09-21 Seiko Epson Corp 画像符号化装置、画像符号化方法、画像復号化装置および画像復号化方法ならびに情報記録媒体
JP3676651B2 (ja) * 2000-06-15 2005-07-27 日本電信電話株式会社 段階的可逆画像信号符号化方法，復号方法，符号化装置，復号装置，およびその符号化，復号プログラムの記録媒体
JP3962053B2 (ja) * 2004-11-15 2007-08-22 株式会社東芝 動画像再符号化装置
US8233527B2 (en) * 2007-05-11 2012-07-31 Advanced Micro Devices, Inc. Software video transcoder with GPU acceleration
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
WO2010027082A1 (ja) * 2008-09-08 2010-03-11 日本電気株式会社 カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
JP2010093650A (ja) * 2008-10-09 2010-04-22 Nec Corp 端末、画像表示方法及びプログラム
US8760492B2 (en) * 2009-01-30 2014-06-24 Polycom, Inc. Method and system for switching between video streams in a continuous presence conference
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101955374B1 (ko) * 2011-06-30 2019-05-31 에스케이 텔레콤주식회사 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
JP2013042492A (ja) * 2011-08-11 2013-02-28 Polycom Inc 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
JP2018074349A (ja) * 2016-10-28 2018-05-10 住友電気工業株式会社 映像処理装置、映像処理方法および映像処理プログラム
WO2018135885A1 (ko) * 2017-01-19 2018-07-26 가온미디어 주식회사 변환 처리를 제공하는 영상 복호화 및 부호화 방법
JP6469277B2 (ja) * 2018-03-28 2019-02-13 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311267A (ja) 2005-04-28 2006-11-09 Toshiba Corp 電子機器およびコンテンツ管理方法
JP2009544176A (ja) 2006-03-29 2009-12-10 ヴィドヨ，インコーポレーテッド スケーラブルビデオコーデックと非スケーラブルビデオコーデックとの間でトランスコードを行うためのシステム及び方法

Also Published As

Publication number Publication date
EP3852369A4 (en) 2021-11-10
CN112655213A (zh) 2021-04-13
US20210195243A1 (en) 2021-06-24
WO2020054190A1 (ja) 2020-03-19
JP2020043519A (ja) 2020-03-19
EP3852369A1 (en) 2021-07-21
US11490121B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
JP2018110425A (ja) ビデオコード化における低遅延バッファリングモデル
CN107079167B (zh) 用于执行帧内预测的方法、设备和***
US10291934B2 (en) Modified HEVC transform tree syntax
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
US20100020883A1 (en) Transcoder, transcoding method, decoder, and decoding method
US9554152B2 (en) Concurrent processing of horizontal and vertical transforms
US20180020222A1 (en) Apparatus and Method for Low Latency Video Encoding
JP2011518527A (ja) 映像の復号化
JP2021521757A (ja) ビデオを符号化及び復号する方法、並びにその装置及びコンピュータプログラム
JP7378035B2 (ja) 変換装置、復号装置、変換方法および復号方法
JP5472094B2 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
KR100846795B1 (ko) Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치
JP7279189B2 (ja) ビデオコーディングのための変換ユニット区分方法
JP6566864B2 (ja) ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
KR100932727B1 (ko) 비디오 스트림 전환 장치 및 방법
JP7383038B2 (ja) ビデオコーディングのための方法、装置及びプログラム
CN110636296B (zh) 视频解码方法、装置、计算机设备以及存储介质
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
WO2023183033A1 (en) Methods of parameter set indication in video streaming
CN117461314A (zh) 用于组合子块运动补偿和重叠块运动补偿的***和方法
JP2009049826A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2003309803A (ja) ビデオストリーム編集装置
JP2011176700A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231018

R151 Written notification of patent or utility model registration

Ref document number: 7378035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151