JP2001258004A - Image coder and image decoder and its method - Google Patents
Image coder and image decoder and its methodInfo
- Publication number
- JP2001258004A JP2001258004A JP2000385941A JP2000385941A JP2001258004A JP 2001258004 A JP2001258004 A JP 2001258004A JP 2000385941 A JP2000385941 A JP 2000385941A JP 2000385941 A JP2000385941 A JP 2000385941A JP 2001258004 A JP2001258004 A JP 2001258004A
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- code
- block
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動画像を入力して
符号化する画像符号化装置とその方法、及びその符号化
されたコードを復号する画像復号装置とその方法に関す
るものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding apparatus and method for inputting and encoding a moving image, and an image decoding apparatus and method for decoding the encoded code.
【０００２】[0002]
【従来の技術】従来、画像の符号化方式として、フレー
ム内符号化方式であるMotion JPEGやDigital Video等の
符号化方式や、フレーム間予測符号化を用いたＨ．２６
１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号
化方式が知られている。これらの符号化方式は、ＩＳＯ
（International Organization for Standardization：
国際標準化機構）やＩＴＵ（International Telecommun
ication Union：国際電気通信連合）によって国際標準
化されている。フレーム内符号化方式はフレーム単位で
独立に符号化を行うもので、フレームの管理がしやすい
ため、動画像の編集や特殊再生が必要な装置に最適であ
る。また、フレーム間予測符号化方式は、フレーム間で
の画像データの差分に基づくフレーム間予測を用いるた
め、符号化効率が高いという特徴を持っている。2. Description of the Related Art Conventionally, as an image encoding method, an H.264 encoding method using an intra-frame encoding method such as Motion JPEG or Digital Video, or an inter-frame predictive encoding method has been used. 26
1, H. H.263, MPEG-1, MPEG-2 and the like are known. These encoding methods are based on ISO
(International Organization for Standardization:
International Organization for Standardization and ITU (International Telecommun
communication Union (International Telecommunication Union). The intra-frame encoding method performs encoding independently for each frame, and is easy to manage the frames. Therefore, the intra-frame encoding method is most suitable for a device that requires moving image editing or special reproduction. Further, the inter-frame prediction coding method has a feature that the coding efficiency is high because the inter-frame prediction based on the difference of the image data between the frames is used.
【０００３】更に、コンピュータ、放送、通信など多く
の領域で利用できる、汎用的な次世代マルチメディア符
号化規格としてＭＰＥＧ−４の国際標準化作業が進めら
れている。Further, international standardization work on MPEG-4 as a general-purpose next-generation multimedia coding standard that can be used in many fields such as computer, broadcasting, and communication is in progress.
【０００４】このようなディジタル符号化規格の普及に
伴い、コンテンツ業界からは著作権保護の問題が強く提
起されるようになってきた。即ち、著作権が保護される
ことが十分に保証されていない規格に対しては、安心し
てコンテンツを提供することができない、という問題が
生じている。[0004] With the spread of such digital coding standards, the content industry has been strongly raising the problem of copyright protection. In other words, there is a problem that it is not possible to provide contents with confidence for a standard for which copyright protection is not sufficiently guaranteed.
【０００５】このためＭＰＥＧ−４では、ＩＰＭＰ(Int
ellectual Property Management and Protect)の技術が
導入され、著作権を保護するために画像の再生を中断し
たり再開したりする機能が検討されている。この方式で
は、著作権を保護する必要のあるフレームを再生しない
ことにより、著作権保護を実現している。For this reason, in MPEG-4, IPMP (Int
The technology of ellectual Property Management and Protect) has been introduced, and a function of interrupting or resuming reproduction of an image to protect copyright has been studied. In this system, copyright protection is realized by not reproducing frames whose copyright needs to be protected.
【０００６】その一方、画像にスクランブルを施すこと
で、視聴者に対しある程度の概略を認識できる程度の画
像を提供する方式やサービスが開始されている。具体的
には、テレビジョン信号における任意の走査線や画素を
置換することにより実現している。また出力される再生
画像を再生装置で変換する方法もある。[0006] On the other hand, a method and a service have been started to provide scrambled images so as to provide viewers with an image whose degree of outline can be recognized to some extent. Specifically, this is realized by replacing an arbitrary scanning line or pixel in a television signal. There is also a method of converting a reproduced image to be output by a reproducing device.
【０００７】またスケーラビリティの機能も検討されて
おり、画像時間及び空間解像度を複数のレベルで持ちな
がら画像の符号化や復号を行う方法もある。[0007] A scalability function is also being studied, and there is a method of encoding and decoding an image while maintaining the image time and spatial resolution at a plurality of levels.
【０００８】[0008]
【発明が解決しようとする課題】よって、以下のような
問題が発生する。 従来のＩＰＭＰ技術では、著作権を保護したい画像に
対して、復号を停止したり画像の再生を止めてしまうた
め、視聴者に対して全く情報を提供できない。このこと
は、その映像等を視聴する権利を持たない視聴者に対し
て、そのコンテンツ（例えば画像）の情報が全く提供で
きないことを意味する。本来、コンテンツの提供者側
は、ビジネスとしてより多くの視聴者にコンテンツを広
めるたいと考えており、そのためには、視聴する権利を
持たない視聴者に対しても、ある程度のコンテンツの情
報を提供する必要がある。 また前述の一連の画像符号化方式において、従来のス
クランブルをこのビットストリーム全体にかけた場合、
スクランブルを解除できない復号器を持つ視聴者或は視
聴する権利を持たない視聴者は正常な復号ができないた
め、全く映像を認識することができないことになる。 更に、一連の画像符号化方式は、画像の空間及び時間
方向の相関を利用して高い符号化効率を実現している
が、符号化時の入力画像に従来のスクランブルを施す
と、画像の空間及び時間方向の相関が無くなってしま
い、符号化効率を著しく低下させてしまう。 更に、ビットストリームの一部に対してスクランブル
をかけたとしても、フレーム間予測符号化を用いた動画
像符号化方式の再生画像では、あるフレームにおける歪
みは次のフレームへ伝搬して次第に蓄積することにな
る。このため、歪みは定常的に発生しないことになり、
復号側で再生画像を見た場合、スクランブルのための歪
みか、或は別の誤動作の症状かの判別がしにくくなる。 また近年、画像の符号化・復号装置の処理は複雑化し
ており、ソフトウェアによる符号化及び復号を想定する
場合もでてきた。このような場合、画像符号化・復号処
理以外でスクランブル処理の負荷が大きいと、装置全体
としての性能が低下するという問題がある。Therefore, the following problem occurs. In the conventional IPMP technology, decoding of an image whose copyright is desired to be protected or reproduction of the image is stopped, so that no information can be provided to the viewer. This means that information of the content (for example, an image) cannot be provided to a viewer who does not have a right to view the video or the like. Originally, the content provider wants to spread the content to more viewers as a business, and to do so, it provides some content information to viewers who do not have the right to view There is a need to. Also, in the above-described series of image coding methods, when conventional scrambling is applied to the entire bit stream,
A viewer having a decoder that cannot release the scramble or a viewer who does not have the right to view cannot perform normal decoding, and thus cannot recognize the video at all. Furthermore, a series of image coding schemes achieve high coding efficiency by utilizing the spatial and temporal correlations of the image. However, if the input image at the time of coding is subjected to conventional scrambling, the image In addition, the correlation in the time direction is lost, and the coding efficiency is significantly reduced. Furthermore, even if a part of the bit stream is scrambled, in a reproduced image of a moving image coding method using inter-frame prediction coding, distortion in one frame propagates to the next frame and gradually accumulates. Will be. For this reason, distortion does not occur constantly,
When the reproduced image is viewed on the decoding side, it is difficult to determine whether the image is distortion due to scrambling or another symptom of malfunction. In recent years, the processing of an image encoding / decoding device has become complicated, and encoding and decoding by software have been assumed. In such a case, if the load of the scrambling process other than the image encoding / decoding process is large, there is a problem that the performance of the entire apparatus is reduced.
【０００９】本発明は上記従来例に鑑みてなされたもの
で、画像符号化時に著作権を保護すべき対象のビットス
トリームの一部にスクランブルをかけ、符号化効率を下
げることなく画像を符号化できる画像符号化装置及びそ
の方法を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned prior art, and scrambles a part of a bit stream to be copyright-protected at the time of image encoding to encode an image without lowering encoding efficiency. It is an object of the present invention to provide an image encoding device and a method thereof that can be performed.
【００１０】また本発明の目的は、視聴権利を有する視
聴者の画像復号装置では正常な再生を行い、視聴権利を
持たない視聴者の画像復号装置では画像のおおよその概
観を認識できる程度の再生を行うことができるように画
像を符号化できる画像符号化装置及びその方法を提供す
ることにある。[0010] It is another object of the present invention to perform normal reproduction in an image decoding apparatus for a viewer who has a viewing right, and to reproduce an image in an image decoding apparatus for a viewer who does not have a viewing right so as to recognize an approximate overview of an image. It is an object of the present invention to provide an image encoding device and an image encoding method capable of encoding an image so that the image encoding is performed.
【００１１】また本発明の目的は、上記画像符号化装置
により符号化された画像を復号して再生できる画像復号
装置を提供することにある。It is another object of the present invention to provide an image decoding device capable of decoding and reproducing an image encoded by the image encoding device.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するため
に本発明の画像符号化装置は以下のような構成を備え
る。即ち、入力した画像データを複数のレイヤへ分離す
る分離手段と、前記分離手段により分離されたそれぞれ
のレイヤの画像データをブロック化するブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックを符号化するブロック符号化手段と、１つ又は複数
のレイヤにおいて、前記ブロック符号化手段により符号
化されたブロックにスクランブルを施すスクランブル手
段と、知的財産を保護するための保護データを入力する
保護データ入力手段と、前記ブロック符号化手段により
符号化されたコード、前記保護データ及び前記スクラン
ブル手段によりスクランブルされたブロックのコードを
多重化して出力する多重化手段とを有することを特徴と
する。In order to achieve the above object, an image coding apparatus according to the present invention has the following arrangement. That is, a separating unit that separates the input image data into a plurality of layers, a blocking unit that blocks the image data of each layer separated by the separating unit, and each block that is blocked by the blocking unit. Block coding means for coding a block, scrambling means for scrambling a block coded by the block coding means in one or a plurality of layers, and protection data for protecting intellectual property It is characterized by comprising protection data input means, and multiplexing means for multiplexing the code coded by the block coding means, the protection data and the code of the block scrambled by the scrambling means, and outputting the multiplexed data.
【００１３】上記目的を達成するために本発明の画像復
号装置は以下のような構成を備える。即ち、符号化され
たビットストリームを入力し、前記ビットストリーム
を、知的財産を保護するための保護コードと、１つ或は
複数のレイヤとに分配する分配手段と、外部から認証用
データを入力する認証用データ入力手段と、前記認証用
データと前記保護コードとの整合を調べる認証手段と、
前記認証手段による認証結果に基づいて、１つ又は複数
のレイヤのスクランブルを解除するスクランブル解除手
段と、前記分離手段の出力、もしくは前記スクランブル
解除手段の出力を復号する復号手段と、前記復号手段に
よる復号された画像を出力する画像出力手段と、を備え
ることを特徴とする。In order to achieve the above object, an image decoding apparatus according to the present invention has the following configuration. That is, a coded bit stream is input, a protection code for protecting the intellectual property of the bit stream, distribution means for distributing the code stream to one or a plurality of layers, and authentication data from the outside. Authentication data input means for inputting, authentication means for checking the matching between the authentication data and the protection code,
A descrambling unit for descrambling one or more layers based on an authentication result by the authentication unit; a decoding unit for decoding an output of the separating unit or an output of the descrambling unit; Image output means for outputting a decoded image.
【００１４】上記目的を達成するために本発明の画像符
号化方法は以下のような工程を備える。即ち、入力した
画像データを複数のレイヤへ分離する分離工程と、前記
分離工程で分離されたそれぞれのレイヤの画像データを
ブロック化するブロック化工程と、前記ブロック化工程
でブロック化された各ブロックを符号化するブロック符
号化工程と、１つ又は複数のレイヤにおいて、前記ブロ
ック符号化工程により符号化されたブロックにスクラン
ブルを施すスクランブル工程と、知的財産を保護するた
めの保護データを入力する保護データ入力工程と、前記
ブロック符号化工程で符号化されたコード、前記保護デ
ータ及び前記スクランブル工程によりスクランブルされ
たブロックのコードを多重化して出力する多重化工程
と、を有することを特徴とする。In order to achieve the above object, an image encoding method according to the present invention comprises the following steps. That is, a separating step of separating input image data into a plurality of layers, a blocking step of blocking the image data of each layer separated in the separating step, and each of the blocks blocked in the blocking step. , A scrambling step of scrambling a block coded by the block coding step in one or a plurality of layers, and protection data for protecting intellectual property are input. A protection data input step; and a multiplexing step of multiplexing and outputting the code encoded in the block encoding step, the protection data and the code of the block scrambled in the scramble step. .
【００１５】上記目的を達成するために本発明の画像復
号方法は以下のような工程を備える。即ち、符号化され
たビットストリームを入力し、前記ビットストリーム
を、知的財産を保護するための保護コードと、１つ或は
複数のレイヤとに分配する分配工程と、外部から認証用
データを入力する認証用データ入力工程と、前記認証用
データと前記保護コードとの整合を調べる認証工程と、
前記認証工程での認証結果に基づいて、１つ又は複数の
レイヤのスクランブルを解除するスクランブル解除工程
と、前記分離工程の出力、もしくは前記スクランブル解
除工程の出力を復号する復号工程と、前記復号工程で復
号された画像を出力する画像出力工程と、を備えること
を特徴とする。[0015] In order to achieve the above object, the image decoding method of the present invention comprises the following steps. That is, a coded bit stream is input, the bit stream is distributed to a protection code for protecting intellectual property, one or more layers, and an authentication data is externally transmitted. An authentication data inputting step of inputting, and an authentication step of checking matching between the authentication data and the protection code,
A descrambling step of descrambling one or more layers based on the authentication result in the authentication step, a decoding step of decoding the output of the separation step or the output of the descrambling step, and the decoding step And an image output step of outputting the image decoded in step (a).
【００１６】[0016]
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
【００１７】［実施の形態１］図１は、本発明の実施の
形態１に係る動画像符号化装置の構成を示すブロック
図、図３は、この符号化装置により符号化された符号を
復号する動画像復号装置の構成を示すブロック図であ
る。本実施の形態１では、ＭＰＥＧ−４符号化方式にお
いて、空間スケーラビリティの機能を有し、その拡張レ
イヤ６００１に対してＤＣＴ係数を符号化したハフマン
コードの符号ビットを反転することでスクランブルをか
ける場合について説明する。尚、ＭＰＥＧ−４符号化方
式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照された
い。[Embodiment 1] FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to Embodiment 1 of the present invention, and FIG. 3 is a block diagram showing decoding of a code coded by this coding apparatus. FIG. 35 is a block diagram illustrating a configuration of a moving image decoding device that performs decoding. In the first embodiment, in the MPEG-4 encoding method, a case where the function of spatial scalability is provided and scrambling is performed by inverting the sign bit of the Huffman code obtained by encoding the DCT coefficient for the enhancement layer 6001 Will be described. For details of the MPEG-4 encoding method, refer to the ISO / IEC recommendation.
【００１８】図１において、１００はフレームメモリ
（ＦＭ）で、１フレーム分の入力画像データを格納し、
符号化単位であるマクロブロックとして出力する。ここ
でマクロブロックは、輝度が１６×１６画素、色差Ｃ
ｂ、Ｃｒとも８×８画素であり、輝度は４ブロック、色
差は各１ブロックとなる。１０１はＤＣＴ器で、８×８
画素（ブロック）単位の２次元の離散コサイン変換（Ｄ
ＣＴ、Discrete Cosign Transform）を行って、入力さ
れたマクロブロックをブロック毎に順次変換してＤＣＴ
係数を出力する。１０２は量子化器で、ブロック毎のＤ
ＣＴ係数に対して順次量子化を行って、その量子化代表
値を出力する。１０３は逆量子化器で、量子化された量
子化代表値をＤＣＴ係数として出力する。１０４は逆Ｄ
ＣＴ器で、逆量子化されたＤＣＴ係数を元の画像データ
に変換する。１０５は局部復号画像を格納するフレーム
メモリである。１０６は動き補償器で、フレームメモリ
１００からの入力画像データと、フレームメモリ１０
５、及び後述するアップサンプリング器３０１からの局
部復号画像データを入力し、マクロブロック毎に動きベ
クトルの検出を行って予測画像を出力する。In FIG. 1, reference numeral 100 denotes a frame memory (FM) for storing one frame of input image data;
It is output as a macroblock which is a coding unit. Here, the macro block has a luminance of 16 × 16 pixels and a color difference C
Both b and Cr are 8 × 8 pixels, and the luminance is 4 blocks and the color difference is 1 block. 101 is a DCT unit, 8 × 8
Two-dimensional discrete cosine transform (D
CT, Discrete Cosign Transform), and sequentially transforms the input macroblock for each block
Output the coefficient. Reference numeral 102 denotes a quantizer, which is a D for each block.
The CT coefficients are sequentially quantized, and the quantized representative value is output. An inverse quantizer 103 outputs the quantized representative value as a DCT coefficient. 104 is reverse D
The CT unit converts the inversely quantized DCT coefficients into original image data. Reference numeral 105 denotes a frame memory for storing a locally decoded image. Reference numeral 106 denotes a motion compensator, which stores input image data from the frame memory 100 and the frame memory 10.
5 and local decoded image data from an up-sampling unit 301 to be described later, and a motion vector is detected for each macroblock to output a predicted image.
【００１９】１０７は可変長符号化器で、量子化代表値
に対してハフマン符号化を行ってハフマンコードを出力
する。１０８はＤＣＴ符号反転器で、可変長符号化器１
０７からのハフマンコードを符号反転する。ＭＰＥＧ−
４におけるハフマンコードの符号ビットは、ビット列の
末尾の１ビットであり、正の場合は“０”、負の場合は
“１”である。よって、この符号ビットを反転すること
が、ＤＣＴ符号反転器１０８の処理となる。尚、ＤＣＴ
係数のブロック内をジグザグスキャン順序で連続した列
をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施の形
態１で反転するハフマンコードは、ｉ＝３〜６３とす
る。Reference numeral 107 denotes a variable-length encoder that performs Huffman coding on the quantized representative value and outputs a Huffman code. Reference numeral 108 denotes a DCT code inverter, which is a variable-length encoder 1
The sign of the Huffman code from 07 is inverted. MPEG-
The sign bit of the Huffman code in No. 4 is the last bit of the bit string, which is “0” when positive and “1” when negative. Therefore, inverting this sign bit is the processing of the DCT sign inverter 108. In addition, DCT
If DCT [i] (i = 0 to 63) is a continuous column in the coefficient block in the zigzag scan order, the Huffman code to be inverted in the first embodiment is i = 3 to 63.
【００２０】１０９はセレクタで、外部から入力するス
クランブルON/OFFフラグに応じて、可変長符号化器１０
７からの出力と、ＤＣＴ符号反転器１０８から出力のい
ずれか一方を選択している。１１０は多重化器で、セレ
クタ１０９から出力されたハフマンコード、外部から入
力するスクランブルON/OFFフラグ、及びＩＰ符号化器１
１１から出力されるＩＰ符号化コードを、ユーザデータ
として多重化し、ビットストリームとして出力する。こ
のＩＰ符号化器１１１は、画像の著作権ＩＰ(Intellect
ual Property)を保護するための情報を外部から入力
し、ＩＰ符号化コードを出力する。本実施の形態１で
は、このＩＰをパスワードとする。Reference numeral 109 denotes a selector, which varies according to a scramble ON / OFF flag input from the outside.
7 and the output from the DCT sign inverter 108 are selected. Reference numeral 110 denotes a multiplexer, a Huffman code output from the selector 109, a scramble ON / OFF flag input from the outside, and an IP encoder 1
11 is multiplexed as user data and output as a bit stream. The IP encoder 111 is configured to execute the copyright IP (Intellect
Information for protecting the ual property) is input from outside, and an IP encoded code is output. In the first embodiment, this IP is used as a password.
【００２１】次に図１におけるレイヤ間の構成について
記述する。Next, the configuration between layers in FIG. 1 will be described.
【００２２】３００はダウンサンプリング器で、入力画
像をダウンサンプリングする。本実施の形態１では、こ
のダウンサンプリング器３００におけるダウンサンプリ
ングレートを“１／２”とする。３０１はアップサンプ
リング器で、後述するフレームメモリ２０５の局部復号
画像をアップサンプリングする。本実施の形態１では、
このアップサンプリング器３０１におけるアップサンプ
リングレートを“２”とする。３０２は多重化器で、空
間スケーラビリティにおける拡張レイヤ６００１と基本
レイヤ６０００のビットストリームを多重化している。Reference numeral 300 denotes a downsampling unit for downsampling an input image. In the first embodiment, the downsampling rate in the downsampling device 300 is “１ ／”. An upsampling unit 301 upsamples a locally decoded image in a frame memory 205 described later. In the first embodiment,
The upsampling rate in the upsampling device 301 is "2". A multiplexer 302 multiplexes bit streams of the enhancement layer 6001 and the base layer 6000 in spatial scalability.
【００２３】次に図１の基本レイヤ６０００の構成につ
いて説明する。Next, the configuration of the basic layer 6000 shown in FIG. 1 will be described.
【００２４】基本レイヤ６０００では、入力をダウンサ
ンプリング器３００の出力としている点を除けば、同名
の各機能ブロックは、前述の拡張レイヤ６００１と同様
である。２００はフレームメモリで、入力画像１フレー
ム分を格納し、符号化単位であるマクロブロックとして
出力する。２０１はＤＣＴ器で、８×８画素（ブロッ
ク）単位の２次元の離散コサイン変換を行う。２０２は
量子化器で、ブロック毎に量子化を行って量子化代表値
を出力している。２０３は逆量子化器で、量子化代表値
をＤＣＴ係数として出力する。２０４は逆ＤＣＴ器で、
ＤＣＴ係数に対して逆ＤＣＴを実行して画像データに変
換している。２０５はフレームメモリで、局部復号画像
を格納している。２０６は動き補償器で、フレームメモ
リ２００からの入力画像と、フレームメモリ２０５から
の局部復号画像とを入力し、マクロブロック毎に動きベ
クトルの検出を行って予測画像を出力する。２０７は可
変長符号化器で、量子化器２０２から出力される量子化
代表値に対してハフマン符号化を行ってハフマンコード
を出力する。２０８は多重化器で、可変長符号化器２０
７からのハフマンコードを多重化してビットストリーム
として出力する。In the base layer 6000, each functional block having the same name is the same as the above-described enhancement layer 6001, except that the input is the output of the downsampling device 300. Reference numeral 200 denotes a frame memory which stores one frame of an input image and outputs it as a macroblock which is a coding unit. A DCT unit 201 performs a two-dimensional discrete cosine transform in units of 8 × 8 pixels (blocks). A quantizer 202 performs quantization for each block and outputs a quantized representative value. An inverse quantizer 203 outputs a representative quantized value as a DCT coefficient. 204 is an inverse DCT unit,
The inverse DCT is performed on the DCT coefficients to convert the DCT coefficients into image data. Reference numeral 205 denotes a frame memory which stores a locally decoded image. A motion compensator 206 receives an input image from the frame memory 200 and a locally decoded image from the frame memory 205, detects a motion vector for each macroblock, and outputs a predicted image. Reference numeral 207 denotes a variable length encoder that performs Huffman encoding on the quantized representative value output from the quantizer 202 and outputs a Huffman code. Reference numeral 208 denotes a multiplexer, which is a variable length encoder 20.
7 are multiplexed and output as a bit stream.
【００２５】まず図１の上部拡張レイヤ６００１の動作
について記述する。First, the operation of the upper enhancement layer 6001 in FIG. 1 will be described.
【００２６】以降、本実施の形態１では、フレーム内符
号化をＩ−ＶＯＰ(Video Object Plane)符号化モード、
１つの予測画像から予測するフレーム間予測符号化をＰ
−ＶＯＰ符号化モード、２つの予測画像から予測するフ
レーム間予測符号化をＢ−ＶＯＰ符号化モードとする。Hereinafter, in the first embodiment, the intra-frame encoding is performed in an I-VOP (Video Object Plane) encoding mode,
The inter-frame prediction coding predicted from one prediction image is represented by P
-VOP encoding mode Inter-frame prediction encoding predicted from two prediction images is referred to as B-VOP encoding mode.
【００２７】フレームメモリ１００は、入力画像を符号
化単位であるマクロブロックに変換して出力する。この
フレームメモリ１００から出力された画像データから、
減算器により動き補償器１０６からの予測画像データが
減算され、予測誤差画像データとしてＤＣＴ器１０１に
入力される。ＤＣＴ器１０１は、入力されたマクロブロ
ックの予測誤差を、各ブロック毎にＤＣＴ係数に変換す
る。量子化器１０２は、このＤＣＴ係数をブロック毎に
所望の量子化代表値として出力する。この量子化代表値
は、逆量子化器１０３、逆ＤＣＴ器１０４を介し予測誤
差画像データとして復号される。この予測誤差画像デー
タは、加算器により、動き補償器１０６からの予測画像
データと加算された後、フレームメモリ１０５へ局部復
号画像データとして格納される。なお、この動き補償器
１０６は、外部から指定されたフレーム毎の符号化モー
ド１に応じて予測を行って予測画像データを出力するも
のとする。The frame memory 100 converts an input image into a macroblock, which is a coding unit, and outputs it. From the image data output from the frame memory 100,
The predicted image data from the motion compensator 106 is subtracted by a subtracter, and the subtracted image data is input to the DCT unit 101 as predicted error image data. The DCT unit 101 converts the input prediction error of the macro block into DCT coefficients for each block. The quantizer 102 outputs this DCT coefficient as a desired quantization representative value for each block. The quantized representative value is decoded as prediction error image data via the inverse quantizer 103 and the inverse DCT unit 104. The prediction error image data is added to the prediction image data from the motion compensator 106 by an adder, and then stored in the frame memory 105 as locally decoded image data. It is assumed that the motion compensator 106 performs prediction according to the encoding mode 1 for each frame specified from the outside and outputs predicted image data.
【００２８】また量子化代表値を入力する可変長符号化
器１０７は、その量子化代表値をハフマン符号化してハ
フマンコードを出力する。セレクタ１０９は、一方の端
子(a)にこのハフマンコードを直接入力するとともに、
他方の端子(b)にはＤＣＴ符号反転器１０８により符号
ビットが反転された（スクランブルされた）ハフマンコ
ードを入力する。このセレクタ１０９は、外部から入力
するスクランブルON/OFFフラグに応じて、スクランブル
ON/OFFフラグがオフの場合は端子（ａ）、即ち、可変長
符号化器１０７の出力を選択し、スクランブルON/OFFフ
ラグがオンの場合は、端子（ｂ）、即ち、符号ビットを
反転したハフマンコードを選択して出力する。多重化器
１１０は、セレクタ１０９の出力、スクランブルON/OFF
フラグ、及びＩＰ符号化器１１１から出力されるＩＰ符
号データを多重化して出力する。The variable length coder 107 that inputs the quantized representative value performs Huffman coding on the quantized representative value and outputs a Huffman code. The selector 109 directly inputs this Huffman code to one terminal (a),
To the other terminal (b), the Huffman code whose code bit is inverted (scrambled) by the DCT code inverter 108 is input. The selector 109 performs a scramble according to a scramble ON / OFF flag input from the outside.
When the ON / OFF flag is off, the terminal (a), that is, the output of the variable length encoder 107 is selected. When the scramble ON / OFF flag is on, the terminal (b), that is, the code bit is inverted. The selected Huffman code is output. The multiplexer 110 outputs the output of the selector 109 and turns the scramble ON / OFF.
The flag and the IP code data output from the IP encoder 111 are multiplexed and output.
【００２９】次に図１に示す基本レイヤ６０００の動作
について説明する。Next, the operation of the basic layer 6000 shown in FIG. 1 will be described.
【００３０】ダウンサンプリング器３００によりダウン
サンプルされた画像はフレームメモリ２００へ入力され
て記憶される。ＤＣＴ器２０１、量子化器２０２、逆量
子化器２０３、逆ＤＣＴ器２０４、フレームメモリ２０
５、フレーム単位の符号化モード２を入力する動き補償
器２０６、及び可変長符号化器２０７は、前述の拡張レ
イヤ６００１における対応する部分と同様に動作する。
また多重化器２０８は、可変長符号化器２０７の出力を
多重化する。The image downsampled by the downsampling unit 300 is input to the frame memory 200 and stored. DCT unit 201, quantizer 202, inverse quantizer 203, inverse DCT unit 204, frame memory 20
5. The motion compensator 206 and the variable-length encoder 207 that input the encoding mode 2 in frame units operate in the same manner as the corresponding portions in the enhancement layer 6001 described above.
The multiplexer 208 multiplexes the output of the variable length encoder 207.
【００３１】次に、これら基本レイヤ６０００と拡張レ
イヤ６００１との間の動作についてアップサンプリング
器３０１を含めて記述する。Next, the operation between the base layer 6000 and the enhancement layer 6001 will be described including the upsampling unit 301.
【００３２】図２は、本実施の形態１に係る空間スケー
ラビリティによる基本レイヤと拡張レイヤとの各ＶＯＰ
の関係を説明する図である。FIG. 2 shows each VOP of the base layer and the enhancement layer due to spatial scalability according to the first embodiment.
FIG.
【００３３】入力画像の先頭フレームでは、まずダウン
サンプリング器３００で入力画像データをダウンサンプ
リングした後、基本レイヤにてＩ−ＶＯＰ（フレーム
内）符号化を行い、フレームメモリ２０５に局部復号画
像を格納する。In the first frame of the input image, first, the input image data is down-sampled by the down-sampling device 300, I-VOP (intra-frame) coding is performed in the base layer, and the locally decoded image is stored in the frame memory 205. I do.
【００３４】また拡張レイヤ６００１は、フレームメモ
リ２０５の画像をアップサンプリング器３０１でアップ
サンプリングした後、このアップサンプリング器３０１
の出力を参照画像として動き補償器１０６に入力し、Ｐ
−ＶＯＰ（１つの予測画像から予測するフレーム間予
測）符号化する。The enhancement layer 6001 performs up-sampling of the image in the frame memory 205 by the up-sampling device 301,
Is input to the motion compensator 106 as a reference image.
-Encode VOP (inter-frame prediction predicted from one predicted image).
【００３５】次に２番目の第２フレームは、基本レイヤ
６０００にて、第１フレームの符号化時にフレームメモ
リ２０５に格納された局部復号画像を参照してＰ−ＶＯ
Ｐ符号化される。一方、拡張レイヤ６００１では、第１
フレームの符号化時にフレームメモリ１０５に格納され
た局部復号画像と、フレームメモリ２０５の画像データ
をアップサンプリング器３０１でアップサンプリングし
たデータとを動き補償器１０６に入力し、Ｂ−ＶＯＰ
（２つの予測画像から予測するフレーム間予測）符号化
する。Next, the second second frame is a P-VO in the base layer 6000 with reference to the locally decoded image stored in the frame memory 205 at the time of encoding the first frame.
P-coded. On the other hand, in the enhancement layer 6001, the first
The local decoded image stored in the frame memory 105 at the time of frame encoding and the data obtained by up-sampling the image data in the frame memory 205 by the up-sampling unit 301 are input to the motion compensator 106, and the B-VOP
(Inter-frame prediction predicted from two predicted images).
【００３６】第３フレームも第２フレームと同様に行
い、これ以降はこれら３つのフレーム分の動作を繰り返
す。尚、図２において、「Ｉ」はＩ−ＶＯＰ（フレーム
内）符号化を、「Ｐ」はＰ−ＶＯＰ符号化を、そして
「Ｂ」はＢ−ＶＯＰ符号化をそれぞれ示す。The third frame is performed in the same manner as the second frame, and thereafter, the operation for these three frames is repeated. In FIG. 2, "I" indicates I-VOP (intra-frame) coding, "P" indicates P-VOP coding, and "B" indicates B-VOP coding.
【００３７】図３は、本実施の形態１に係る画像復号装
置の構成を示すブロック図である。まず図３における拡
張レイヤ７００１の構成について記述する。FIG. 3 is a block diagram showing a configuration of the image decoding apparatus according to the first embodiment. First, the configuration of the enhancement layer 7001 in FIG. 3 will be described.
【００３８】１０００は分配器で、拡張レイヤ７００１
に入力されるビットストリームから、ハフマンコード、
符号化モード１、スクランブルON/OFFフラグ、及びＩＰ
符号化コードにそれぞれ分配する。１０１０はＩＰ復号
器で、分配器１０００からのＩＰ符号化コードをＩＰに
復号する。１０１１はＩＰ認証器で、ＩＰ復号器で復号
されたＩＰと、外部から入力した認証用ＩＰとの整合を
調べて認証を行う。１０１２はセキュリティ制御器で、
分配器１０００からのスクランブルON/OFFフラグ、ＩＰ
認証器１０１１からの認証結果に基づいて、後述するセ
レクタ１００２及びセレクタ１００９を制御する。Reference numeral 1000 denotes a distributor, and an extension layer 7001
Huffman code,
Encoding mode 1, scramble ON / OFF flag, and IP
The code is distributed to each. Reference numeral 1010 denotes an IP decoder, which decodes the IP encoded code from the distributor 1000 into IP. Reference numeral 1011 denotes an IP authenticator, which checks the matching between the IP decrypted by the IP decryptor and the authentication IP input from the outside, and performs authentication. 1012 is a security controller,
Scramble ON / OFF flag from distributor 1000, IP
A selector 1002 and a selector 1009, which will be described later, are controlled based on the authentication result from the authenticator 1011.
【００３９】１００１はＤＣＴ符号反転器で、ハフマン
コードのＤＣＴ係数を符号反転する。セレクタ１００２
は、セキュリティ制御器１０１２からの選択信号によ
り、分配器１０００の出力（ａ入力）とＤＣＴ符号反転
器１００１の出力（ｂ入力）のいずれか一方を選択して
出力する。１００３及び１００６は可変長復号器で、ハ
フマンコードを量子化代表値へ変換している。１００４
及び１００７は逆量子化器で、量子化代表値をＤＣＴ係
数として出力する。１００５及び１００８は逆ＤＣＴ器
で、ＤＣＴ係数を画像へ変換している。１０１４は局部
復号画像を格納するフレームメモリである。１０１３は
動き補償器で、フレームメモリ１０１４からの出力、及
び後述するアップサンプリング器１３０１からの局部復
号画像を参照し、マクロブロック毎に動き補償を行って
予測画像を出力している。セレクタ１００９は、セキュ
リティ制御器１０１２により、逆ＤＣＴ器１００５から
の出力（ａ入力）、及び逆ＤＣＴ器１００８からの出力
（ｂ入力）のいずれかを選択して出力する。Reference numeral 1001 denotes a DCT sign inverter for inverting the sign of the DCT coefficient of the Huffman code. Selector 1002
Selects and outputs one of the output (a input) of the distributor 1000 and the output (b input) of the DCT sign inverter 1001 according to a selection signal from the security controller 1012. Reference numerals 1003 and 1006 denote variable length decoders for converting Huffman codes into quantized representative values. 1004
And 1007, an inverse quantizer for outputting a representative quantization value as a DCT coefficient. Reference numerals 1005 and 1008 denote inverse DCT units, which convert DCT coefficients into images. Reference numeral 1014 denotes a frame memory for storing a locally decoded image. Reference numeral 1013 denotes a motion compensator which refers to the output from the frame memory 1014 and the local decoded image from the up-sampling unit 1301 described later, performs motion compensation for each macroblock, and outputs a predicted image. The selector 1009 selects and outputs either the output (input a) from the inverse DCT unit 1005 or the output (input b) from the inverse DCT unit 1008 by the security controller 1012.
【００４０】次に、図３における基本レイヤと拡張レイ
ヤ間の構成について記述する。Next, the configuration between the base layer and the enhancement layer in FIG. 3 will be described.
【００４１】１３００は分配器で、入力ビットストリー
ムを基本レイヤと拡張レイヤとに分配する。１３０１は
アップサンプリング器で、後述するフレームメモリ１１
０５からの局部復号画像を入力してアップサンプリング
する。セレクタ１３０２は、セキュリティ制御器１０１
２からの選択信号に基づいて、拡張レイヤ７００１から
の入力（ａ入力）と基本レイヤ７０００からの入力（ｂ
入力）のいずれかを選択する。Reference numeral 1300 denotes a distributor, which distributes an input bit stream into a base layer and an enhancement layer. Reference numeral 1301 denotes an upsampling unit, which is a frame memory 11 described later.
The local decoded image from step 05 is input and upsampled. The selector 1302 is connected to the security controller 101
2 based on the selection signal, the input from the enhancement layer 7001 (a input) and the input from the base layer 7000 (b
Input).
【００４２】次に図３における基本レイヤ７０００の構
成について記述する。Next, the configuration of the basic layer 7000 in FIG. 3 will be described.
【００４３】１１００は分配器で、基本レイヤのビット
ストリームを入力してハフマンコードと符号化モード２
とに分配し、ハフマンコードを可変長復号器１１０１
に、符号化モード２を動き補償器１１０４に出力してい
る。可変長復号器１１０１は、ハフマンコードを量子化
代表値へ変換する。１１０２は逆量子化器で、可変長復
号された量子化代表値をＤＣＴ係数として出力する。１
１０３は逆ＤＣＴ器で、ＤＣＴ係数を元の画像データに
変換している。フレームメモリ１１０５は、局部復号さ
れた画像データを格納する。１１０４は動き補償器で、
フレームメモリ１１０５からの局部復号画像データを入
力し、マクロブロック毎に動き補償を行って予測画像を
出力する。Reference numeral 1100 denotes a distributor, which inputs a bit stream of a base layer and outputs a Huffman code and an encoding mode 2
, And the Huffman code is
In addition, the encoding mode 2 is output to the motion compensator 1104. The variable length decoder 1101 converts a Huffman code into a quantized representative value. Reference numeral 1102 denotes an inverse quantizer which outputs a variable-length decoded quantized representative value as a DCT coefficient. 1
An inverse DCT unit 103 converts DCT coefficients into original image data. The frame memory 1105 stores the locally decoded image data. 1104 is a motion compensator,
Local decoded image data from the frame memory 1105 is input, motion compensation is performed for each macroblock, and a predicted image is output.
【００４４】以上の構成に基づく動作を説明する。The operation based on the above configuration will be described.
【００４５】符号化された入力ビットストリームは、分
配器１３００により拡張レイヤと基本レイヤとに分配さ
れる。基本レイヤ７０００では、分配器１１００により
ハフマンコード、及び符号化モード２に分配され、ハフ
マンコードは可変長符号化器１１０１、逆量子化器１１
０２、逆ＤＣＴ器１１０３を介して画像データに復号さ
れ、Ｉ−ＶＯＰ（フレーム内）符号化の場合は、直接、
フレームメモリ１１０５へ局部復号画像データが格納さ
れ、これとともにセレクタ１３０２のｂ入力に供給され
る。またＰ−ＶＯＰ（フレーム間予測）符号化の場合
は、逆ＤＣＴ器１１０３の出力に、動き補償器１１０４
の出力した予測画像データを加算し、その後、フレーム
メモリ１１０５へ格納するとともに、セレクタ１３０２
のｂ入力に供給する。The encoded input bit stream is distributed by a distributor 1300 to an enhancement layer and a base layer. In the base layer 7000, the Huffman code is distributed to the encoding mode 2 by the distributor 1100, and the Huffman code is distributed to the variable length encoder 1101 and the inverse quantizer 11
02, decoded into image data via the inverse DCT unit 1103, and in the case of I-VOP (intra-frame) coding,
The local decoded image data is stored in the frame memory 1105 and supplied to the b input of the selector 1302 together with the local decoded image data. Also, in the case of P-VOP (inter-frame prediction) coding, a motion compensator 1104
Are added to the predicted image data, and then stored in the frame memory 1105.
To the b input.
【００４６】一方、拡張レイヤ７００１では、分配器１
０００によりハフマンコード、スクランブルON/OFFフラ
グ、ＩＰ、及び符号化モード１に分配される。ＤＣＴ符
号反転器１００１は、符号反転したハフマンコードを出
力する。On the other hand, in the enhancement layer 7001, the distributor 1
000 is distributed to Huffman code, scramble ON / OFF flag, IP, and encoding mode 1. The DCT sign inverter 1001 outputs a sign-inverted Huffman code.
【００４７】これ以降では、正常なハフマンコードを正
常コード、符号反転したハフマンコードを反転コードと
称す。尚、ＤＣＴ係数のブロック内をジグザグスキャン
順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした
場合、本実施の形態１で反転するハフマンコードは、符
号化器に対応してｉ＝３〜６３とする。Hereinafter, a normal Huffman code is called a normal code, and a sign-inverted Huffman code is called an inverted code. When a continuous column in a block of DCT coefficients in a zigzag scan order is DCT [i] (i = 0 to 63), the Huffman code inverted in the first embodiment corresponds to an encoder. i = 3 to 63.
【００４８】本実施の形態１における空間スケーラビリ
ティによる基本レイヤと拡張レイヤとの各ＶＯＰの関係
は、前述した図１の符号化器における場合と同様であ
る。The relationship between the VOPs of the base layer and the enhancement layer due to spatial scalability in the first embodiment is the same as in the encoder of FIG. 1 described above.
【００４９】（Ａ）まずスクランブルオンで、且つＩＰ
認証結果がＯＫの場合について説明する。セレクタ１０
０２はａ入力に符号反転されたハフマンコード、ｂ入力
に符号反転器１００１で符号が元に戻された正常コード
を入力する。そして、スクランブルオンのため、セレク
タ１００２はｂ入力の正常コードを選択する。可変長復
号器１００６、逆量子化器１００７、逆ＤＣＴ器１００
８は、その正常コードを入力し、その結果として正常な
予測誤差画像データを出力する。(A) First, scramble-on and IP
The case where the authentication result is OK will be described. Selector 10
02 inputs the Huffman code whose sign is inverted to the a input, and the normal code whose sign is restored by the sign inverter 1001 to the b input. Then, the selector 1002 selects the normal code of the b input for scramble ON. Variable length decoder 1006, inverse quantizer 1007, inverse DCT unit 100
Numeral 8 inputs the normal code, and as a result, outputs normal prediction error image data.
【００５０】次に動き補償器１０１３では、符号化モー
ド１に応じてフレームメモリ１０１４の出力、アップサ
ンプリング器１３０１の出力から予測画像を出力する。
逆ＤＣＴ器１００８からの予測誤差画像と動き補償器１
０１３からの予測画像データとを加算し、正常な画像デ
ータをセレクタ１００９のｂ入力に供給し、これと同時
に、その正常な画像データをフレームメモリ１０１４に
格納する。セレクタ１００９は、セキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力し、
またセレクタ１３０２は、拡張レイヤ７００１の出力で
あるａ入力を選択する。その結果、本実施の形態１に係
る画像復号装置は、高空間解像度の画像を再生すること
ができる。Next, the motion compensator 1013 outputs a predicted image from the output of the frame memory 1014 and the output of the upsampler 1301 according to the encoding mode 1.
Prediction error image from inverse DCT 1008 and motion compensator 1
The normal image data is supplied to the input b of the selector 1009, and at the same time, the normal image data is stored in the frame memory 1014. The selector 1009 is a security controller 1
012 is selected and output by the selection signal from 012,
Also, the selector 1302 selects the a input which is the output of the enhancement layer 7001. As a result, the image decoding device according to the first embodiment can reproduce an image with a high spatial resolution.
【００５１】（Ｂ）スクランブルオンで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。この場合、スク
ランブルオンのため、セレクタ１００２はｂの符号が元
に戻された正常なコードを選択する。可変長符号化器１
００３、逆量子化器１００４、逆ＤＣＴ器１００５は、
その符号反転したコードを入力し、その復号画像を出力
する。(B) The case where the scramble is on and the IP authentication result is NO will be described. In this case, since the scramble is on, the selector 1002 selects a normal code in which the code of b is restored. Variable length encoder 1
003, the inverse quantizer 1004, and the inverse DCT unit 1005
The code whose sign is inverted is input, and the decoded image is output.
【００５２】次に動き補償器１０１３では、符号化モー
ド１に応じて、フレームメモリ１０１４の出力とアップ
サンプリング器１３０１の出力から予測画像を出力す
る。逆ＤＣＴ器１００５からの予測画像は、動き補償器
１０１３からの予測画像データと加算され、セレクタ１
００９のａへ入力される。セレクタ１００９は、セキュ
リティ制御器１０１２からの制御データによりａ入力を
選択して出力する。セレクタ１３０２は、セキュリティ
制御器１０１２からの制御データにより、拡張レイヤａ
を選択する。その結果、本実施の形態１に係る復号装置
は、スクランブルによる歪みのある画像を再生すること
になる。Next, the motion compensator 1013 outputs a predicted image from the output of the frame memory 1014 and the output of the upsampler 1301 according to the encoding mode 1. The predicted image from the inverse DCT unit 1005 is added to the predicted image data from the motion compensator 1013 and the selector 1
009a is input. The selector 1009 selects and outputs the a input according to the control data from the security controller 1012. The selector 1302 uses the control data from the security controller 1012 to
Select As a result, the decoding device according to the first embodiment reproduces an image having distortion due to scrambling.
【００５３】（Ｃ）スクランブルオフで、且つ、ＩＰ認
証結果がＯＫの場合について記述する。スクランブルオ
フのため、セレクタ１００２はａ入力を選択して正常コ
ードを出力する。可変長復号器１００６、逆量子化器１
００７、逆ＤＣＴ器１００８は、この正常コードを入力
して正常な画像を出力する。このとき入力ビットストリ
ームはスクランブルが施されていないため、セレクタ１
００９のａ，ｂ入力とも同一の正常画像データを入力す
る。次にセレクタ１００９は、ａ入力もしくはｂ入力を
選択して出力する。セレクタ１３０２は拡張レイヤ７０
０１の出力であるａ入力を選択する。その結果、高空間
解像度画像を再生することができる。(C) A case where scrambling is off and the IP authentication result is OK will be described. For scrambling off, the selector 1002 selects the "a" input and outputs a normal code. Variable length decoder 1006, inverse quantizer 1
007, the inverse DCT unit 1008 inputs this normal code and outputs a normal image. At this time, since the input bit stream is not scrambled, the selector 1
The same normal image data is input to both a and b inputs of 009. Next, the selector 1009 selects and outputs the a input or the b input. The selector 1302 is an extension layer 70
Select the a input, which is the output of 01. As a result, a high spatial resolution image can be reproduced.
【００５４】（Ｄ）スクランブルオフで、且つ、ＩＰ認
証結果がＮＯの場合について説明する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ１３
０２は基本レイヤ７０００の出力であるｂ入力を選択し
て出力する。その結果、本実施の形態１に係る画像復号
装置は、基本レイヤのフレーム内符号化された画像及び
Ｐ−ＶＯＰ（フレーム間予測）符号化された画像だけを
復号して再生するため、低空間解像度の画像を再生する
ことになる。(D) A case where scrambling is off and the IP authentication result is NO will be described. Since the authentication result is NO in the security controller 1012, the selector 13
02 selects and outputs the b input which is the output of the base layer 7000. As a result, the image decoding apparatus according to the first embodiment decodes and reproduces only the intra-frame coded image and the P-VOP (inter-frame prediction) coded image of the base layer. The image of the resolution will be reproduced.
【００５５】図４は、本実施の形態１に係るセキュリテ
ィ制御器１０１２によるセレクタ１３０２、セレクタ１
００９、セレクタ１００２の選択状態、及び再生画像と
の関係について示す図である。FIG. 4 shows selector 1302 and selector 1 by security controller 1012 according to the first embodiment.
FIG. 9 is a diagram showing the relationship between 009, a selection state of the selector 1002, and a reproduced image.
【００５６】ここでは、スクランブルON/OFFフラグとＩ
Ｐ認証結果とに基づいて３つのセレクタ１００２，１０
０９，１３０２を制御し、その結果、３種類の再生画像
の状態（高解像度、低解像度、歪み有り）を生成するこ
とが可能である。Here, the scramble ON / OFF flag and I
The three selectors 1002 and 10 based on the P authentication result
09, 1302, and as a result, three types of reproduced image states (high resolution, low resolution, and with distortion) can be generated.
【００５７】［多レイヤ空間スケーラビリティ構成］図
５は、前述の図１及び図３における空間スケーラビリテ
ィの機能を持つ符号化及び復号装置を多レイヤ化した構
成を示す図である。なお、ここでレイヤ数は任意であ
り、図では「ｎ」としている。[Multilayer Spatial Scalability Configuration] FIG. 5 is a diagram showing a configuration in which the encoding and decoding apparatus having the spatial scalability function shown in FIGS. Here, the number of layers is arbitrary, and is “n” in the figure.
【００５８】図において、６０００は図１の基本レイヤ
部、６００１は図１の拡張レイヤ部に相当している。ま
た７０００は図２の基本レイヤ部、７００１は図２の拡
張レイヤ部に相当している。８０００，８００１はダウ
ンサンプリング器、８００２，８００３は対応するアッ
プサンプリング器である。これらはレイヤ数に応じたサ
ンプリングレートを設定することができる。但し、各レ
イヤとサンプリングレートは対応していなければならな
い。例えば、ダウンサンプリングレートを“１／２”と
し、アップサンプリングレートを“２”とする。８００
４は多重化器で、多レイヤ部からのビットストリームを
１つに多重化している。８００５は分離器で、１つのビ
ットストリームをレイヤ毎に分離している。８００６は
セレクタで、各拡張レイヤの認証結果に従って再生する
レイヤを選択する。In the figure, reference numeral 6000 corresponds to the basic layer unit in FIG. 1, and reference numeral 6001 corresponds to the enhancement layer unit in FIG. Reference numeral 7000 corresponds to the base layer unit in FIG. 2, and reference numeral 7001 corresponds to the enhancement layer unit in FIG. 8000,8001 is a downsampling device, and 8002,8003 is a corresponding upsampling device. These can set the sampling rate according to the number of layers. However, each layer and the sampling rate must correspond. For example, assume that the downsampling rate is “１ ／” and the upsampling rate is “2”. 800
A multiplexer 4 multiplexes the bit streams from the multi-layer unit into one. A separator 8005 separates one bit stream for each layer. A selector 8006 selects a layer to be reproduced according to the authentication result of each enhancement layer.
【００５９】［多レイヤ空間スケーラビリティ動作］図
５の符号化装置では、各拡張レイヤ毎に著作権情報及び
スクランブルON/OFFを指定する。また復号装置では、こ
れらスクランブルON/OFF、著作権の認証結果に従った解
像度の画像を復号して再生する。但し、ある拡張レイヤ
にスクランブルを施す場合は、その上位レイヤにおいて
スクランブルが施されていなくてはならない。[Multi-layer spatial scalability operation] In the coding apparatus of FIG. 5, copyright information and scramble ON / OFF are designated for each enhancement layer. The decoding device decodes and reproduces an image having a resolution according to the result of scramble ON / OFF and copyright authentication. However, when scrambling is performed on a certain enhancement layer, scrambling must be performed on the upper layer.
【００６０】尚、本実施の形態１の各機能をソフトウェ
アにより実現してもかまわない。The functions of the first embodiment may be realized by software.
【００６１】図６は本実施の形態１に係る画像の符号化
処理を示すフローチャート、図７はその復号化処理を示
すフローチャートである。FIG. 6 is a flowchart showing an image encoding process according to the first embodiment, and FIG. 7 is a flowchart showing the decoding process.
【００６２】まず、図６の符号化処理を説明する。この
処理は１フレームの画像データが入力されることにより
開始され、まずステップＳ１で、フレーム数をカウント
するカウンタｆrと、カウンタｎの値を共に“０”にセ
ットする。尚、これらカウンタは、前述の図１における
符号化モード１，２の信号があればなくてもよい。次に
ステップＳ２に進み、フレームカウンタｆrを＋１す
る。そしてステップＳ３で、フレームカウンタｆrの値
が「３ｎ＋１」かどうか、即ち、図２のフレーム番号が
“１”、“４”、“７”…“３ｎ＋１”かどうかを調
べ、そうであって基本レイヤの場合はステップＳ４でｎ
を+１した後にステップＳ５に，拡張レイヤの場合はス
テップＳ４でｎを+１した後にステップＳ６に進む。ス
テップＳ５では、フレーム内符号化(I-VOP)を実行す
る。ステップＳ６では、ステップＳ５で符号化された符
号をもとに１つの予測画像から予測するフレーム間予測
符号化(P-VOP)を実行して、後述するステップＳ１０に
進む。一方、ステップＳ５で符号化されたフレームの画
像データは、ステップＳ７で多重化されて出力ビットス
トリームとして出力される。そして処理をステップＳ２
へ戻す。First, the encoding process of FIG. 6 will be described. This processing is started when image data of one frame is input. First, in step S1, the counter fr for counting the number of frames and the value of the counter n are both set to "0". Note that these counters need not have the signals of the encoding modes 1 and 2 in FIG. 1 described above. Next, the process proceeds to step S2, where the frame counter fr is incremented by one. In step S3, it is checked whether the value of the frame counter fr is "3n + 1", that is, whether the frame numbers in FIG. 2 are "1", "4", "7", "3n + 1". In the case of a layer, n in step S4
Is incremented by 1 and the process proceeds to step S5. In the case of the enhancement layer, n is incremented by 1 in step S4, and the process proceeds to step S6. In step S5, intra-frame coding (I-VOP) is performed. In step S6, inter-frame predictive coding (P-VOP) for predicting from one predicted image based on the code coded in step S5 is performed, and the process proceeds to step S10 described below. On the other hand, the image data of the frame encoded in step S5 is multiplexed in step S7 and output as an output bit stream. Then, the process proceeds to step S2
Return to
【００６３】一方ステップＳ３で、フレームカウンタｆ
rの値が「３ｎ＋１」でなく、それが基本レイヤである
場合、即ち、基本レイヤにおいてフレーム間予測符号化
されるフレームの場合はステップＳ８に進む。ステップ
Ｓ８では、１つの予測画像から予測するフレーム間予測
符号化(P-VOP)を実行し、処理はステップＳ７に進む。
一方、拡張レイヤにおいてフレーム間予測符号化される
フレームの場合はステップＳ９において、２つの予測画
像から予測するフレーム間予測符号化(B-VOP)を実行す
る。次にステップＳ１０で、スクランブルON/OFFフラグ
がオンかどうかを調べ、オンであればステップＳ１１に
進み、ハフマンコードの符号ビットを反転させる。但
し、ここではＤＣＴ係数列（ｉ＝０〜６３）のうちの反
転するハフマンコードはｉ＝３〜６３のＤＣＴ係数とす
る。こうしてステップＳ１１を実行した後、或はステッ
プＳ１０でスクランブルがオフの場合はステップＳ１２
に進み、ＩＰを符号化したＩＰ符号、スクランブルON/O
FFフラグ、符号化モード(I-VOP,P-VOP,B-VOP)及びフレ
ーム間予測符号化されたコードを多重化し、ステップＳ
７で、基本レイヤにおいて符号化されたコードと多重化
して出力される。そして、処理をステップＳ２へ戻す。On the other hand, in step S3, the frame counter f
If the value of r is not “3n + 1” and it is the base layer, that is, if the frame is to be subjected to inter-frame prediction coding in the base layer, the process proceeds to step S8. In step S8, inter-frame prediction coding (P-VOP) is performed, which is predicted from one predicted image, and the process proceeds to step S7.
On the other hand, in the case of a frame to be subjected to inter-frame predictive coding in the enhancement layer, in step S9, inter-frame predictive coding (B-VOP) predicted from two predicted images is executed. Next, in step S10, it is checked whether or not the scramble ON / OFF flag is on. If the flag is on, the process proceeds to step S11 to invert the sign bit of the Huffman code. However, here, the inverted Huffman code in the DCT coefficient sequence (i = 0 to 63) is a DCT coefficient of i = 3 to 63. After executing step S11 in this manner, or if scrambling is off in step S10, step S12
, And the IP code that encodes the IP, scramble ON / O
The FF flag, the encoding mode (I-VOP, P-VOP, B-VOP), and the inter-frame prediction coded code are multiplexed, and step S
At 7, the output is multiplexed with the code coded in the base layer and output. Then, the process returns to step S2.
【００６４】図７は、本実施の形態１に係る画像復号処
理を示すフローチャートである。FIG. 7 is a flowchart showing an image decoding process according to the first embodiment.
【００６５】この処理は、前述の図１の符号化装置によ
り符号化されたコードストリームを入力することにより
開始され、まずステップＳ２１で、入力したビットスト
リームを基本レイヤと拡張レイヤとに分配する。基本レ
イヤのコードは、ステップＳ２２で、可変長復号、逆量
子化、逆ＤＣＴ、更には動き補償による予測符号の復号
処理を実行する。This processing is started by inputting the code stream encoded by the encoding apparatus shown in FIG. 1, and first distributes the input bit stream to the base layer and the enhancement layer in step S21. In step S22, the code of the base layer performs a decoding process of a predictive code by variable length decoding, inverse quantization, inverse DCT, and further, motion compensation.
【００６６】一方、拡張レイヤの場合はステップＳ２３
で、スクランブルON/OFFフラグがオンかどうかを調べ、
オンであればステップＳ２４に進み、ＩＰ認証がＯＫか
どうかをみる。ＯＫであれば、例えば著作権などの視聴
許可を得ているユーザであるためステップＳ２５に進
み、スクランブルを解除するためにハフマンコードの符
号を反転する。そしてステップＳ２６に進み、可変長復
号、逆量子化、逆ＤＣＴ、及び動き補償器によるＰ−Ｖ
ＯＰ及びＢ−ＶＯＰ復号処理を実行する。そしてステッ
プＳ２７に進み、その復号されて再生された画像データ
を出力して表示する。この場合は高解像度の画像を表示
することができる。On the other hand, in the case of the enhancement layer, step S23
Then, check whether the scramble ON / OFF flag is on,
If it is on, the process proceeds to step S24 to check whether the IP authentication is OK. If it is OK, for example, the user has permission to view, such as copyright, the process proceeds to step S25, and the sign of the Huffman code is inverted to release the scramble. Then, the process proceeds to step S26, in which the variable length decoding, the inverse quantization, the inverse DCT, and the P-V
Execute OP and B-VOP decoding processing. Then, the process proceeds to a step S27 to output and display the decoded and reproduced image data. In this case, a high-resolution image can be displayed.
【００６７】又、ステップＳ２４で、ＩＰ認証がＯＫで
ないときはステップＳ２６に進み、スクランブルがかか
っている画像を復号して、ステップＳ２７で再生する。
この場合には、スクランブルによる歪みのある画像が再
生される。If it is determined in step S24 that the IP authentication is not OK, the process proceeds to step S26, where the scrambled image is decoded, and reproduced in step S27.
In this case, an image having distortion due to scrambling is reproduced.
【００６８】一方、ステップＳ２３で、スクランブルフ
ラグがオフの場合はステップＳ２９に進み、ＩＰ認証が
ＯＫかどうかをみる。ＯＫであれば、ステップＳ２６に
進み、そのスクランブルがかかっていない画像を復号し
て再生する。On the other hand, if the scramble flag is off at step S23, the process proceeds to step S29 to check whether the IP authentication is OK. If OK, the process proceeds to step S26, and the non-scrambled image is decoded and reproduced.
【００６９】またステップＳ２８で、ＩＰ認証がＯＫで
ない場合はステップＳ２２に進み、Ｉ−ＶＯＰ復号或は
Ｐ−ＶＯＰ復号による復号処理を実行し、ステップＳ２
７で画像の再生（低解像度での再生）を行う。こうして
ステップＳ２８で、受信画像の復号処理が全て終了する
まで、上述の処理を繰り返し実行する。If it is determined in step S28 that the IP authentication is not OK, the flow advances to step S22 to execute a decoding process based on I-VOP decoding or P-VOP decoding.
At step 7, the image is reproduced (reproduced at a low resolution). In step S28, the above-described processing is repeatedly performed until all decoding processing of the received image is completed.
【００７０】尚、上述の実施の形態１では、ハフマンコ
ードのスクランブル対象を前述のようにｉ＝３〜６３と
したが、他の範囲でもかまわない。このように範囲を設
定することにより、スクランブルの歪みを調整すること
ができる。In the above-described first embodiment, the scramble target of the Huffman code is set to i = 3 to 63 as described above, but another range may be used. By setting the range in this way, the scramble distortion can be adjusted.
【００７１】また本実施の形態は、色信号構成４２０の
場合であるが、その他の色信号構成でもかまわない。さ
らに図２のフレームモードの構成は別の組み合わせでも
かまわない。Although the present embodiment is directed to the case of the color signal configuration 420, other color signal configurations may be used. Further, the configuration of the frame mode in FIG. 2 may be another combination.
【００７２】また本実施の形態ではダウンサンプリング
を“１／２”、アップサンプリングレートを“２”とし
たが、これらは対応していればどの値でもかまわない。In this embodiment, the downsampling is set to "1/2" and the upsampling rate is set to "2". However, any values may be used as long as they correspond.
【００７３】以上説明したように本実施の形態１によれ
ば、空間スケーラビリティの機能を持つ画像符号化器及
び復号器において、拡張レイヤに対してスクランブルを
施すことにより、必要に応じて復号器側で歪みを発生さ
せ、動画像の著作権を保護することができる。As described above, according to the first embodiment, scrambling is performed on the enhancement layer in the image encoder and the decoder having the function of spatial scalability, so that the This can generate distortion and protect the copyright of the moving image.
【００７４】またスクランブルをビットストリーム全体
ではなく、ハフマンコードの符号ビットに対して行うこ
とで、装置の処理の負荷は少なくて済む。Further, by performing scrambling not on the entire bit stream but on the code bits of the Huffman code, the processing load on the apparatus can be reduced.
【００７５】またハフマンコードは、ブロック毎に符号
反転するため、スクランブルのかかったビットストリー
ムを直接復号すると歪みはブロック内に閉じたものとな
る。本実施の形態１の場合、正常な画像よりもブロック
歪みやモスキート歪みと言われる量子化歪みを多く発生
した画像を再生することになり、その結果、スクランブ
ルを解除できない視聴者は画像の概観を認識するに留ま
ることになる。Further, since the sign of the Huffman code is inverted for each block, when the scrambled bit stream is directly decoded, the distortion is closed within the block. In the case of the first embodiment, an image in which more quantization distortion called block distortion or mosquito distortion is generated than in a normal image is reproduced, and as a result, a viewer who cannot release the scramble receives an overview of the image. You will only recognize it.
【００７６】また動画像復号装置において、局部復号画
像を格納するフレームメモリ１０１４に対して、可変長
復号器、逆量子化器、逆ＤＣＴ器を２系統備えており、
フレームメモリ１０１４に、可変長復号器１００６、逆
量子化器１００７、逆ＤＣＴ器１００８の経路の正常な
復号画像が格納されるため、他方の可変長復号器１００
３、逆量子化器１００４、逆ＤＣＴ器１００５の経路か
ら生じるスクランブルによる歪みがフレーム毎に蓄積す
ることを防止することができる。In the video decoding apparatus, a variable length decoder, an inverse quantizer, and an inverse DCT unit are provided for a frame memory 1014 for storing a local decoded image.
Since the frame memory 1014 stores normal decoded images on the paths of the variable length decoder 1006, the inverse quantizer 1007, and the inverse DCT unit 1008, the other variable length decoder 100
3. It is possible to prevent distortion due to scrambling from the path of the inverse quantizer 1004 and the inverse DCT unit 1005 from accumulating for each frame.
【００７７】また３以上のレイヤ数においても実現する
ことが可能である。Further, the present invention can be realized with three or more layers.
【００７８】［実施の形態２］図８は、本発明の実施の
形態２に係る動画像符号化装置の構成を示すブロック図
であり、図１１はこれに対応する動画像復号装置の構成
を示すブロック図である。本実施の形態２では、ＭＰＥ
Ｇ−２符号化方式において、時間スケーラビリティの機
能を有し、その拡張レイヤに対してＤＣＴ係数を符号化
したハフマンコードの符号ビットを反転することでスク
ランブルをかける場合について説明する。尚、ＭＰＥＧ
−２符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書
を参照されたい。[Embodiment 2] FIG. 8 is a block diagram showing a configuration of a moving picture encoding apparatus according to Embodiment 2 of the present invention. FIG. 11 shows a configuration of a corresponding moving picture decoding apparatus. FIG. In the second embodiment, the MPE
A case will be described in which the G-2 coding scheme has a function of temporal scalability and scrambles the enhancement layer by inverting the code bits of the Huffman code obtained by coding the DCT coefficients. In addition, MPEG
Please refer to the ISO / IEC recommendation for details of the -2 coding method.
【００７９】図８は、本発明の実施の形態２に係る動画
像符号化装置の構成を示すブロック図である。尚、図８
において、前述の実施の形態１と同様の構成要素につい
ては同一番号を付し、その詳細な説明は省略する。よっ
て本実施の形態２では、前述の実施の形態１と異なる点
について詳しく説明する。FIG. 8 is a block diagram showing a configuration of a moving picture coding apparatus according to Embodiment 2 of the present invention. FIG.
In the figure, the same components as those in the first embodiment are denoted by the same reference numerals, and the detailed description thereof will be omitted. Therefore, in the second embodiment, points different from the first embodiment will be described in detail.
【００８０】７００は分配器で、入力画像を拡張レイヤ
と基本レイヤへ、各フレーム毎に割り当て、それと同時
にオーダリング（フレーム並び替え）を行う。７０２は
動き補償器で、フレームメモリ１００からの入力画像
と、基本レイヤのフレームメモリ２０５からの局部復号
画像データを入力し、マクロブロック毎に動きベクトル
検出を行って予測画像を出力する。７０１は多重化器
で、時間スケーラビリティにおける拡張レイヤと基本レ
イヤのビットストリームを多重化している。Reference numeral 700 denotes a distributor, which allocates an input image to an enhancement layer and a base layer for each frame, and at the same time, performs ordering (frame rearrangement). A motion compensator 702 inputs an input image from the frame memory 100 and local decoded image data from the base layer frame memory 205, performs motion vector detection for each macroblock, and outputs a predicted image. A multiplexer 701 multiplexes the bit streams of the enhancement layer and the base layer in the time scalability.
【００８１】以上の構成に基づく動作を説明する。The operation based on the above configuration will be described.
【００８２】本実施の形態２では、フレーム内符号化を
I-Picture符号化モード、１つの予測画像から予測する
フレーム間予測符号化をP-Picture符号化モード、２つ
の予測画像から予測するフレーム間予測符号化をB-Pict
ure符号化モードと称す。In the second embodiment, intra-frame encoding
I-Picture encoding mode, P-Picture encoding mode for inter-frame prediction encoding predicted from one prediction image, B-Pict encoding for inter-frame prediction encoding from two prediction images
ure coding mode.
【００８３】入力画像は、分配器７００によりフレーム
毎に、外部から入力された符号化モード１に従って基本
レイヤと拡張レイヤへ分配される。The input image is distributed to the base layer and the enhancement layer by the distributor 700 for each frame according to the encoding mode 1 inputted from the outside.
【００８４】図９及び図１０は、本実施の形態２におけ
る時間スケーラビリティによる基本レイヤと拡張レイヤ
との各フレームの関係について示す図である。ここで図
９は入力画像の順序を示し、図１０は分配器７００によ
りフレームの順序が並び替えられた後のフレームの構成
を示す図である。ここで、入力画像は図９に示す順序で
各レイヤへ割り当てられる。FIGS. 9 and 10 are diagrams showing the relationship between frames of the base layer and the enhancement layer due to temporal scalability in the second embodiment. Here, FIG. 9 shows the order of the input images, and FIG. 10 shows the configuration of the frames after the order of the frames has been rearranged by the distributor 700. Here, the input image is allocated to each layer in the order shown in FIG.
【００８５】入力画像の先頭フレームを、まず基本レイ
ヤに入力してI-Picture符号化を行い、フレームメモリ
２０５に局部復号画像を格納する、次に第２フレームを
基本レイヤに入力し、フレームメモリ２０５に局部復号
画像を参照してP-Picture符号化を行う。次に第３フレ
ームを拡張レイヤに入力し、フレームメモリ１００にお
いて入力画像をマクロブロックへ変換する。First, the first frame of the input image is input to the base layer to perform I-Picture coding, and the locally decoded image is stored in the frame memory 205. Next, the second frame is input to the base layer, and In step 205, P-Picture encoding is performed with reference to the locally decoded image. Next, the third frame is input to the enhancement layer, and the input image is converted into a macroblock in the frame memory 100.
【００８６】動き補償器７０２は、フレームメモリ１０
０の出力を入力し、既に基本レイヤのフレームメモリ２
０５に格納された第１と第２フレームの２つのフレーム
の参照画像から動き補償を行う。つまり、B-Picture符
号化を行う。次の第４フレームも第３フレームと同様に
B-Picture符号化を行い、それ以降はフレームモードに
従って動作を繰り返す。The motion compensator 702 has the frame memory 10
0 is input and the frame memory 2 of the base layer has already been input.
The motion compensation is performed from the reference images of the two frames of the first and second frames stored in the image data 05. That is, B-Picture encoding is performed. The next fourth frame is the same as the third frame
B-Picture encoding is performed, and thereafter, the operation is repeated according to the frame mode.
【００８７】次に図１１に示す動画像復号装置について
説明する。この図１１における構成要素のうち、前述の
実施の形態１と同様の構成要素については同一番号を付
してその詳細な説明は省略する。よって本実施の形態２
では、前述の実施の形態１と異なる点について記述す
る。Next, the moving picture decoding apparatus shown in FIG. 11 will be described. In FIG. 11, the same components as those in the above-described first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted. Therefore, Embodiment 2
In the following, points different from the first embodiment will be described.
【００８８】２０００は分配器で、入力ビットストリー
ムを基本レイヤと拡張レイヤとに分配する。２００２は
動き補償器で、基本レイヤ内のフレームメモリ１１０５
からの局部復号画像データを入力し、マクロブロック毎
に予測画像を出力する。２００１はセレクタで、分配器
１０００からの符号化モード１に応じて、拡張レイヤの
出力（ａ入力）と基本レイヤの出力（ｂ入力）を選択す
るセレクタであり、同時にリオーダリング（フレーム並
び替え）を行い、画像を表示順序に並び替える。A distributor 2000 distributes an input bit stream to a base layer and an enhancement layer. A motion compensator 2002 is a frame memory 1105 in the base layer.
, And outputs a predicted image for each macroblock. Reference numeral 2001 denotes a selector for selecting the output (a input) of the enhancement layer and the output (b input) of the base layer according to the encoding mode 1 from the distributor 1000, and at the same time, reordering (frame rearrangement). To sort the images in the display order.
【００８９】以上の構成において、入力ビットストリー
ムは分配器２０００により拡張レイヤと基本レイヤに分
配される。本実施の形態における基本レイヤと拡張レイ
ヤとの各フレームの関係については図１０と同様であ
る。In the above configuration, the input bit stream is distributed by the distributor 2000 to the enhancement layer and the base layer. The relationship between each frame of the base layer and the enhancement layer in the present embodiment is the same as in FIG.
【００９０】まず第１から第２フレームでは、基本レイ
ヤにビットストリームを入力し、第１フレームをI-Pict
ure、第２フレームをP-Pictureとして復号する。そして
第３フレームでは、拡張レイヤにビットストリームを入
力し、動き補償器２００２にて既に基本レイヤのフレー
ムメモリ１１０５に格納されている第１と第２フレーム
の２つの画像を参照しB-Pictureとして復号する。また
第４フレームでは、拡張レイヤにビットストリームを入
力し、第３フレームと同様の復号を行う。以降はフレー
ムモードに従い動作を繰り返す。First, in the first and second frames, a bit stream is input to the base layer, and the first frame is converted to an I-Pict frame.
ure, the second frame is decoded as a P-Picture. In the third frame, a bit stream is input to the enhancement layer, and the motion compensator 2002 refers to the two images of the first and second frames already stored in the frame memory 1105 of the base layer and generates a B-Picture. Decrypt. In the fourth frame, a bit stream is input to the enhancement layer, and decoding is performed in the same manner as in the third frame. Thereafter, the operation is repeated according to the frame mode.
【００９１】セレクタ２００１は、分配器１０００から
の符号化モード１により、拡張レイヤ（ａ入力）と基本
レイヤ（ｂ入力）を選択し、さらにリオーダリングを行
い復号画像を出力する。The selector 2001 selects the enhancement layer (a input) and the base layer (b input) in the encoding mode 1 from the distributor 1000, performs reordering, and outputs a decoded image.
【００９２】前述した図４において、セレクタ１３０２
をセレクタ２００１とすれば各セレクタと再生画像との
関係は図４と同じになる。但し、この場合の再生画像の
解像度は時間周波数に対するものとなる。つまり、低解
像度画像とは基本レイヤのみの画像を示し、高解像度画
像とは拡張レイヤを含めた画像を示す。In FIG. 4 described above, selector 1302
Is the selector 2001, the relationship between each selector and the reproduced image is the same as in FIG. However, the resolution of the reproduced image in this case is based on the time frequency. That is, the low resolution image indicates an image of only the base layer, and the high resolution image indicates an image including the enhancement layer.
【００９３】以上説明したように本実施の形態２によれ
ば、時間スケーラビリティの機能を持つ画像符号化器及
び復号器において、拡張レイヤに対してスクランブルを
施すことで、必要に応じて復号器側でフレーム毎に歪み
を発生させ、動画像の著作権を保護することができる。As described above, according to the second embodiment, scrambling is performed on the enhancement layer in the image encoder and the decoder having the function of temporal scalability, so that the Thus, distortion can be generated for each frame, and the copyright of the moving image can be protected.
【００９４】またスクランブルをビットストリーム全体
ではなくハフマンコードの符号ビットに対して行うこと
で、装置の処理の負荷が少なくて済む。Further, by performing scrambling not on the entire bit stream but on the code bits of the Huffman code, the processing load on the apparatus can be reduced.
【００９５】またスクランブルは、拡張レイヤに対して
のみ行われるため、両レイヤを連続して再生し、且つ、
スクランブルの歪みのある拡張レイヤの画像を再生する
場合には、歪みのない画像と、歪みのある画像が交互に
再生されることになる。その結果、スクランブルを解除
できない視聴者は画像の概観を認識するに留まることに
なる。Since scrambling is performed only for the enhancement layer, both layers are continuously reproduced, and
When reproducing an image of an enhancement layer having scramble distortion, an image without distortion and an image with distortion are alternately reproduced. As a result, a viewer who cannot cancel the scramble only recognizes the overview of the image.
【００９６】また空間スケーラビリティと同様に、３以
上のレイヤ数においても実現することが可能である。Further, similarly to the spatial scalability, the present invention can be realized with three or more layers.
【００９７】尚、この実施の形態２に係る処理も前述の
実施の形態１と同様にソフトウェアにより処理すること
が可能である。その場合の処理の流れを示すフローチャ
ートは、前述の実施の形態１と基本的に同様であるた
め、その説明を省略する。The processing according to the second embodiment can be performed by software, similarly to the first embodiment. The flowchart showing the flow of the processing in that case is basically the same as that of the above-described first embodiment, and the description thereof will be omitted.
【００９８】［実施の形態３］図１２は、本発明の実施
の形態３に係る画像符号化装置の構成を示すブロック図
であり、図１３は、これに対応する画像復号装置の構成
を示すブロック図である。本実施の形態３では、フレー
ム内符号化方式において、ＭＰＥＧ符号化方式の空間ス
ケーラビリティに類する機能を有し、その拡張レイヤに
対してＤＣＴ係数を符号化したハフマンコードの符号ビ
ットを反転することでスクランブルをかける場合につい
て説明する。[Embodiment 3] FIG. 12 is a block diagram showing a configuration of an image encoding apparatus according to Embodiment 3 of the present invention, and FIG. 13 shows a configuration of an image decoding apparatus corresponding thereto. It is a block diagram. Embodiment 3 has a function similar to the spatial scalability of the MPEG coding method in the intra-frame coding method, and inverts the code bits of the Huffman code obtained by coding the DCT coefficients for the enhancement layer. The case of scrambling will be described.
【００９９】図１２において、前述の実施の形態１と同
様の構成要素については同一番号を付し、その詳細な説
明は省略する。よって本実施の形態３では実施の形態１
と異なる点について記述する。In FIG. 12, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted. Therefore, in the third embodiment, the first embodiment
Describe the different points.
【０１００】３０００は分離器で、可変長符号化器２０
７の出力からブロック内の位置に対応してＤＣＴの低周
波成分と高周波成分を分離する。３００１は多重化器
で、分離器３０００で分離した各レイヤのコードを多重
化する。Reference numeral 3000 denotes a separator, which is a variable length encoder 20.
7, the low frequency component and the high frequency component of the DCT are separated in accordance with the position in the block. A multiplexer 3001 multiplexes the code of each layer separated by the separator 3000.
【０１０１】尚、ＤＣＴ係数のブロック内をジグザグス
キャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）
とした場合、本実施の形態３の分離器３０００で拡張レ
イヤへ出力するハフマンコードは、ｉ＝３〜６３とす
る。Note that a continuous column in the block of DCT coefficients in a zigzag scan order is represented by DCT [i] (i = 0 to 63).
In this case, the Huffman code output to the enhancement layer by the separator 3000 according to the third embodiment is i = 3 to 63.
【０１０２】図１２において、入力画像はフレームメモ
リ２００においてマクロブロック化され、ＤＣＴ器２０
１、量子化器２０２、可変長符号化器２０７を介して可
変長符号化コードとなる。この符号化コードは分離器３
０００によりブロック内の成分毎に分離され、低周波成
分は多重化器３００１へ、その他の成分はＤＣＴ符号反
転器１０８、セレクタ１０９へ出力される。In FIG. 12, an input image is divided into macroblocks in a frame memory 200, and a DCT 20
1. A variable length encoded code is obtained via the quantizer 202 and the variable length encoder 207. This encoded code is supplied to the separator 3
000, the low-frequency components are output to the multiplexer 3001, and the other components are output to the DCT sign inverter 108 and the selector 109.
【０１０３】図１３の画像復号装置において、前述の実
施の形態１と同様の構成要素については同一番号を付し
てその詳細な説明は省略する。よって本実施の形態３で
は、実施の形態１と異なる点について記述する。In the image decoding apparatus shown in FIG. 13, the same components as those in the first embodiment are given the same reference numerals, and a detailed description thereof will be omitted. Therefore, in the third embodiment, points different from the first embodiment will be described.
【０１０４】４０００は分離器で、入力ビットストリー
ムを拡張レイヤと基本レイヤへ分離する。４００１は多
重化器で、両レイヤのコードを多重化する。４００２は
セレクタで、セキュリティ制御器１０１２からの選択信
号により、黒画像（ａ入力）もしくは逆ＤＣＴ器１１０
３の出力を選択する。A separator 4000 separates an input bit stream into an enhancement layer and a base layer. A multiplexer 4001 multiplexes codes of both layers. Reference numeral 4002 denotes a selector, which selects a black image (a input) or the inverse DCT unit 110 according to a selection signal from the security controller 1012.
Select output 3.
【０１０５】以上の構成に基づく復号装置の動作を説明
する。The operation of the decoding apparatus based on the above configuration will be described.
【０１０６】まず入力したビットストリームは分離器４
０００において拡張レイヤと基本レイヤへ分離される。
これ以降では、正常なハフマンコードを正常コード、符
号反転したハフマンコードを反転コードと称す。尚、Ｄ
ＣＴ係数のブロック内をジグザグスキャン順序で連続し
た列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、本実施
の形態３の分離器４０００で拡張レイヤへ出力するハフ
マンコードは、ｉ＝３〜６３とする。First, the input bit stream is supplied to the separator 4
At 000, the enhancement layer and the base layer are separated.
Hereinafter, a normal Huffman code is referred to as a normal code, and a sign-inverted Huffman code is referred to as an inverted code. Note that D
Assuming that a continuous column in the block of CT coefficients in the zigzag scan order is DCT [i] (i = 0 to 63), the Huffman code to be output to the enhancement layer by the separator 4000 according to the third embodiment is as follows: 3 to 63.
【０１０７】（Ａ）スクランブルオンで、且つ、ＩＰ認
証結果がＯＫの場合について説明する。セキュリティ制
御器１０１２では認証結果がＯＫのため、セレクタ１０
０２はｂ入力の正常コードを選択する。多重化器４００
１は、分離器４０００からの低周波成分のコードと、セ
レクタ１００２からの高周波成分のコードとを多重化す
る。可変長復号器１１０１、逆量子化器１１０２、逆Ｄ
ＣＴ器１１０３は、正常コードを入力する。その結果、
正常な画像を復号することができる。ここでセレクタ４
００２は、セキュリティ制御器１０１２からの選択信号
によりｂ入力を選択して出力する。その結果、本復号装
置は正常な画像（高解像度）を再生する。(A) A case in which scramble is on and the IP authentication result is OK will be described. Since the authentication result is OK in the security controller 1012, the selector 10
02 selects the normal code of the b input. Multiplexer 400
1 multiplexes the low-frequency component code from the separator 4000 and the high-frequency component code from the selector 1002. Variable length decoder 1101, inverse quantizer 1102, inverse D
CT unit 1103 inputs a normal code. as a result,
Normal images can be decoded. Here selector 4
002 selects and outputs the b input by a selection signal from the security controller 1012. As a result, the decoding apparatus reproduces a normal image (high resolution).
【０１０８】（Ｂ）スクランブルオンで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ１０
０２はａ入力の反転コードを選択する。このため高周波
成分は反転コードとなったまま逆ＤＣＴ器１１０３から
出力される。セレクタ４００２はセキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力す
る。その結果、スクランブルによる歪みのある画像が再
生される。(B) A case where the scramble is on and the IP authentication result is NO will be described. Since the authentication result is NO in the security controller 1012, the selector 10
02 selects the inverted code of the a input. For this reason, the high frequency component is output from the inverse DCT unit 1103 in an inverted code. The selector 4002 is the security controller 1
The b input is selected and output according to the selection signal from 012. As a result, an image having distortion due to scrambling is reproduced.
【０１０９】（Ｃ）スクランブルオフで、且つ、ＩＰ認
証結果がＯＫの場合について記述する。セキュリティ制
御器１０１２では認証結果がＯＫのため、セレクタ１０
０２はａ入力を選択し正常コードを出力する。このため
全ての周波数成分は正常となり逆ＤＣＴ器１１０３から
出力される。セレクタ４００２はセキュリティ制御器１
０１２からの選択信号によりｂ入力を選択して出力す
る。その結果、正常な画像を再生することができる。(C) The case where the scramble is off and the IP authentication result is OK will be described. Since the authentication result is OK in the security controller 1012, the selector 10
02 selects the a input and outputs a normal code. Therefore, all frequency components become normal and are output from the inverse DCT unit 1103. The selector 4002 is the security controller 1
The b input is selected and output according to the selection signal from 012. As a result, a normal image can be reproduced.
【０１１０】（Ｄ）スクランブルオフで、且つ、ＩＰ認
証結果がＮＯの場合について記述する。セキュリティ制
御器１０１２では認証結果がＮＯのため、セレクタ４０
０２は黒画像（ａ入力）を選択して出力する。その結
果、黒画像を再生する。(D) The case where the scramble is off and the IP authentication result is NO will be described. Since the authentication result is NO in the security controller 1012, the selector 40
02 selects and outputs a black image (a input). As a result, a black image is reproduced.
【０１１１】図１４は、本実施の形態３におけるセキュ
リティ制御器１０１２によるセレクタ４００２、セレク
タ１００２の選択状態、及び再生画像との関係について
示す図である。FIG. 14 is a diagram showing the relationship between the selector 4002, the selection state of the selector 1002, and the reproduced image by the security controller 1012 according to the third embodiment.
【０１１２】このように、スクランブルON/OFFフラグと
ＩＰ認証結果により、２つのセレクタ１００２，４００
２を制御し、その結果として３種類の再生画像の状態を
生成することが可能である。As described above, according to the scramble ON / OFF flag and the IP authentication result, the two selectors 1002 and 400
2 can be controlled, and as a result, three types of reproduced image states can be generated.
【０１１３】以上説明したように本実施の形態３によれ
ば、フレーム内符号化方式のため、静止画像及び動画像
符号化・復号装置で実現可能である。As described above, according to the third embodiment, since it is an intra-frame encoding method, it can be realized by a still image and moving image encoding / decoding device.
【０１１４】空間スケーラビリティの機能を持つ画像符
号化器及び復号器において、拡張レイヤに対してスクラ
ンブルを施すことで、必要に応じて復号器側で歪みを発
生させ、画像の著作権を保護することができる。In an image encoder and a decoder having a function of spatial scalability, scramble is applied to an enhancement layer to generate distortion on the decoder side as necessary, thereby protecting image copyright. Can be.
【０１１５】またスクランブルをビットストリーム全体
ではなくハフマンコードの符号ビットに対して行うこと
で、装置の処理の負荷は少なくて済む。Further, by performing scrambling not on the entire bit stream but on the code bits of the Huffman code, the processing load on the apparatus can be reduced.
【０１１６】またハフマンコードはブロック毎に符号反
転するため、スクランブルのかかったビットストリーム
を直接復号すると歪みはブロック内に閉じたものとな
る。本実施の形態の場合、正常な画像よりもブロック歪
みやモスキート歪みと言われる量子化歪みを多く発生し
た画像を再生することになり、結果としてスクランブル
を解除できない視聴者は画像の概観を認識するに留まる
ことになる。Further, since the sign of the Huffman code is inverted for each block, when the scrambled bit stream is directly decoded, the distortion is closed within the block. In the case of the present embodiment, an image in which quantization distortion called block distortion or mosquito distortion is generated more than a normal image is reproduced, and as a result, a viewer who cannot release the scramble recognizes an overview of the image. Will stay.
【０１１７】なお本発明は、複数の機器（例えばホスト
コンピュータ、インタフェイス機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。The present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but it can be applied to a single device (for example, a copier, a facsimile machine) Etc.).
【０１１８】また本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはCPUやMPU）が記憶媒体に格納されたプログラ
ムコードを読み出し実行することによっても達成され
る。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム(OS)などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれる。Further, an object of the present invention is to supply a storage medium (or a recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and to provide a computer (or a computer) of the system or the apparatus. This is also achieved by a CPU or MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. By executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. This also includes a case where some or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
【０１１９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。Further, after the program code read from the storage medium is written into the memory provided in the function expansion card inserted into the computer or the function expansion unit connected to the computer, the program code is read based on the instruction of the program code. This also includes the case where the CPU provided in the function expansion card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
【０１２０】以上の説明したように本実施の形態によれ
ば、スケーラビリティの機能を持つ画像符号化装置及び
復号装置において、ビットストリーム内にＩＰ符号化コ
ード、及び著作権を保護するための付加情報を設けるこ
とにより、所望の画像の一部に対してコンテンツ提供者
の著作権を守ることが可能となる。As described above, according to the present embodiment, in an image encoding device and a decoding device having a scalability function, an IP encoded code and an additional information for protecting a copyright are included in a bit stream. Is provided, the copyright of the content provider can be protected for a part of the desired image.
【０１２１】また本実施の形態によれば、ビットストリ
ームの一部の限定されたコードに対してスクランブルを
行うため、符号化コード全体を対象とするよりもその処
理の負荷は少なくて済む。またその歪みはブロック内に
閉じたものとなるため、スクランブルを解除できない視
聴者は画像の概観を認識するという状態を作ることが可
能となる。Further, according to the present embodiment, scrambling is performed on a limited code of a part of the bit stream, so that the processing load is smaller than that of the entire coded code. In addition, since the distortion is closed within the block, it is possible to create a state where a viewer who cannot release the scramble recognizes the appearance of the image.
【０１２２】[0122]
【発明の効果】以上説明したように本発明によれば、画
像符号化時に著作権を保護すべき対象のビットストリー
ムの一部にスクランブルをかけ、符号化効率を下げるこ
となく画像を符号化できる。As described above, according to the present invention, it is possible to scramble a part of a bit stream whose copyright is to be protected at the time of image encoding, and to encode an image without lowering the encoding efficiency. .
【０１２３】また本発明によれば、視聴権利を有する視
聴者の画像復号装置では正常な再生を行い、視聴権利を
持たない視聴者の画像復号装置では画像のおおよその概
観を認識できる程度の再生を行うことができるように画
像を符号化できるという効果がある。Further, according to the present invention, normal reproduction is performed by the image decoding device of the viewer having the viewing right, and reproduction is performed so that the general image of the image can be recognized by the image decoding device of the viewer having no viewing right. The effect is that the image can be coded so that
【０１２４】また本発明によれば、上記画像符号化装置
により符号化された画像を復号して再生できるという効
果がある。According to the present invention, there is an effect that an image encoded by the image encoding device can be decoded and reproduced.
【図１】本発明の実施の形態１に係る画像符号化装置の
主要構成を示すブロック図である。FIG. 1 is a block diagram illustrating a main configuration of an image encoding device according to Embodiment 1 of the present invention.
【図２】本実施の形態１に係る空間スケーラビリティに
よる基本レイヤと拡張レイヤとの各ＶＯＰの関係を示す
図である。FIG. 2 is a diagram showing a relationship between VOPs of a base layer and an enhancement layer based on spatial scalability according to the first embodiment.
【図３】本発明の実施の形態１に係る画像復号化装置の
主要構成を示すブロック図である。FIG. 3 is a block diagram illustrating a main configuration of an image decoding device according to Embodiment 1 of the present invention.
【図４】本発明の実施の形態１におけるセキュリティ制
御器の入出力と再生画像の関係とを説明する図である。FIG. 4 is a diagram illustrating a relationship between input / output of a security controller and a reproduced image according to the first embodiment of the present invention.
【図５】本発明の実施の形態１に係る多レイヤの空間ス
ケーラビリティの構成を示す図である。FIG. 5 is a diagram showing a configuration of multi-layer spatial scalability according to Embodiment 1 of the present invention.
【図６】本発明の実施の形態１に係る画像符号化処理を
説明するフローチャートである。FIG. 6 is a flowchart illustrating an image encoding process according to Embodiment 1 of the present invention.
【図７】本発明の実施の形態１に係る画像復号処理を示
すフローチャートである。FIG. 7 is a flowchart showing image decoding processing according to Embodiment 1 of the present invention.
【図８】本発明の実施の形態２に係る画像符号化装置の
主要構成を示すブロック図である。FIG. 8 is a block diagram showing a main configuration of an image encoding device according to Embodiment 2 of the present invention.
【図９】本実施の形態２に係る空間スケーラビリティに
よる基本レイヤと拡張レイヤとにおけるフレーム表示順
序の関係を示す図である。FIG. 9 is a diagram showing a relationship of a frame display order between a base layer and an enhancement layer based on spatial scalability according to the second embodiment.
【図１０】本実施の形態２に係る空間スケーラビリティ
による基本レイヤと拡張レイヤとにおけるフレームの符
号化順序の関係を示す図である。FIG. 10 is a diagram showing the relationship between the coding order of frames in the base layer and the enhancement layer based on spatial scalability according to the second embodiment.
【図１１】本発明の実施の形態２に係る画像復号装置の
主要構成を示すブロック図である。FIG. 11 is a block diagram showing a main configuration of an image decoding device according to Embodiment 2 of the present invention.
【図１２】本発明の実施の形態３に係る画像符号化装置
の主要部の構成を示すブロック図である。FIG. 12 is a block diagram illustrating a configuration of a main part of an image encoding device according to Embodiment 3 of the present invention.
【図１３】本実施の形態３に係る画像復号装置の主要構
成を示すブロック図である。FIG. 13 is a block diagram illustrating a main configuration of an image decoding device according to Embodiment 3.
【図１４】本実施の形態３におけるセキュリティ制御器
の入出力と再生画像の関係を示す図である。FIG. 14 is a diagram showing a relationship between input / output of a security controller and a reproduced image according to the third embodiment.
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/30 Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat II (reference) H04N 7/30
Claims (23)
離する分離手段と、 前記分離手段により分離されたそれぞれのレイヤの画像
データをブロック化するブロック化手段と、 前記ブロック化手段によりブロック化された各ブロック
を符号化するブロック符号化手段と、 １つ又は複数のレイヤにおいて、前記ブロック符号化手
段により符号化されたブロックにスクランブルを施すス
クランブル手段と、 知的財産を保護するための保護データを入力する保護デ
ータ入力手段と、 前記ブロック符号化手段により符号化されたコード、前
記保護データ及び前記スクランブル手段によりスクラン
ブルされたブロックのコードを多重化して出力する多重
化手段と、を有することを特徴とする画像符号化装置。A separating unit configured to separate the input image data into a plurality of layers; a blocking unit configured to block the image data of each layer separated by the separating unit; Coding means for coding each block, scrambling means for scrambling the blocks coded by the block coding means in one or more layers, and protection data for protecting intellectual property And a multiplexing unit that multiplexes the code encoded by the block encoding unit, the protected data and the code of the block scrambled by the scrambling unit, and outputs the multiplexed code. An image encoding device characterized by the following.
２次元空間方向でダウンサンプリングすることを特徴と
する請求項１に記載の画像符号化装置。2. The image coding apparatus according to claim 1, wherein said separation unit down-samples the input image data in a two-dimensional space direction.
フレームをレイヤ毎に割り当てることを特徴とする請求
項１に記載の画像符号化装置。3. The image coding apparatus according to claim 1, wherein the separation unit allocates a frame of the input image data for each layer.
符号化手段により符号化されたビットストリームを同一
な符号長の別の符号へ置換することを特徴とする請求項
１乃至３のいずれか１項に記載の画像符号化装置。4. The apparatus according to claim 1, wherein the scrambling unit replaces the bit stream encoded by the block encoding unit with another code having the same code length. The image encoding device according to claim 1.
量子化手段と、 前記量子化手段による量子化結果を可変長符号化する可
変長符号化手段と、を有することを特徴とする請求項１
乃至４のいずれか１項に記載の画像符号化装置。5. The block encoding unit includes: an orthogonal transformation unit that performs orthogonal transformation on a block; a quantization unit that quantizes each coefficient transformed by the orthogonal transformation unit; 2. A variable-length coding means for performing variable-length coding on the conversion result.
The image encoding device according to any one of claims 1 to 4.
ル手段によりスクランブルされたブロックを含むか否か
を示す情報を多重化することを特徴とする請求項１乃至
５のいずれか１項に記載の画像符号化装置。6. The apparatus according to claim 1, wherein the multiplexing unit further multiplexes information indicating whether or not a block scrambled by the scrambling unit is included. Image coding device.
し、前記ビットストリームを、知的財産を保護するため
の保護コードと、１つ或は複数のレイヤとに分配する分
配手段と、 外部から認証用データを入力する認証用データ入力手段
と、 前記認証用データと前記保護コードとの整合を調べる認
証手段と、 前記認証手段による認証結果に基づいて、１つ又は複数
のレイヤのスクランブルを解除するスクランブル解除手
段と、 前記分離手段の出力、もしくは前記スクランブル解除手
段の出力を復号する復号手段と、 前記復号手段による復号された画像を出力する画像出力
手段と、を備えることを特徴とする画像復号装置。7. A distributing means for receiving an encoded bit stream, distributing the bit stream to one or more layers, a protection code for protecting intellectual property, and externally authenticating. Authentication data input means for inputting authentication data; authentication means for checking matching between the authentication data and the protection code; and descrambling of one or more layers based on an authentication result by the authentication means. Image decoding comprising: descrambling means; decoding means for decoding the output of the separating means or the output of the descrambling means; and image output means for outputting an image decoded by the decoding means. apparatus.
フレームを再生順序に割り当てて出力することを特徴と
する請求項７に記載の画像復号装置。8. The image decoding apparatus according to claim 7, wherein said image output means assigns frames of an image to a reproduction order for each layer and outputs the frames.
て画像を出力することを特徴とする請求項７に記載の画
像復号装置。9. The image decoding apparatus according to claim 7, wherein said image output means outputs an image selectively for each layer.
ットストリームを同一な符号長の別の符号へ置換するこ
とを特徴とする請求項７に記載の画像復号装置。10. The image decoding apparatus according to claim 7, wherein the descrambling unit replaces the bit stream with another code having the same code length.
たビットストリームを入力する入力手段と、 符号化されたコードをブロック毎に可変長復号する可変
長復号手段と、 前記可変長復号手段による復号結果を逆量子化する逆量
子化手段と、 前記逆量子化手段による逆量子化結果を逆直交変換する
逆直交変換手段と、を備えることを特徴とする請求項７
乃至１０のいずれか１項に記載の画像復号装置。11. The decoding means comprises: input means for inputting a bit stream descrambled by the descrambling means; variable length decoding means for performing variable length decoding of an encoded code for each block; 8. An inverse quantization means for inversely quantizing the result of decoding by the decoding means, and an inverse orthogonal transform means for performing inverse orthogonal transformation on the result of inverse quantization by the inverse quantization means.
11. The image decoding device according to any one of claims 10 to 10.
分離する分離工程と、 前記分離工程で分離されたそれぞれのレイヤの画像デー
タをブロック化するブロック化工程と、 前記ブロック化工程でブロック化された各ブロックを符
号化するブロック符号化工程と、 １つ又は複数のレイヤにおいて、前記ブロック符号化工
程により符号化されたブロックにスクランブルを施すス
クランブル工程と、 知的財産を保護するための保護データを入力する保護デ
ータ入力工程と、 前記ブロック符号化工程で符号化されたコード、前記保
護データ及び前記スクランブル工程によりスクランブル
されたブロックのコードを多重化して出力する多重化工
程と、を有することを特徴とする画像符号化方法。12. A separating step of separating input image data into a plurality of layers; a blocking step of blocking image data of each layer separated in the separating step; A block coding step of coding each block, a scrambling step of scrambling a block coded by the block coding step in one or a plurality of layers, and protection data for protecting intellectual property And a multiplexing step of multiplexing and outputting the code coded in the block coding step, the protected data and the code of the block scrambled in the scrambling step. Characteristic image coding method.
タを２次元空間方向でダウンサンプリングすることを特
徴とする請求項１２に記載の画像符号化方法。13. The image encoding method according to claim 12, wherein in the separation step, input image data is down-sampled in a two-dimensional space direction.
タのフレームをレイヤ毎に割り当てることを特徴とする
請求項１２に記載の画像符号化方法。14. The image encoding method according to claim 12, wherein, in the separating step, a frame of the input image data is assigned to each layer.
ック符号化工程で符号化されたビットストリームを同一
な符号長の別の符号へ置換することを特徴とする請求項
１２乃至１４のいずれか１項に記載の画像符号化方法。15. The method according to claim 12, wherein in the scrambling step, the bit stream encoded in the block encoding step is replaced with another code having the same code length. Image coding method as described in the above.
化工程と、 前記量子化工程での量子化結果を可変長符号化する可変
長符号化工程と、を有することを特徴とする請求項１２
乃至１５のいずれか１項に記載の画像符号化方法。16. The block encoding step includes: an orthogonal transformation step of performing orthogonal transformation on a block; a quantization step of quantizing each coefficient transformed in the orthogonal transformation step; 13. A variable length coding step of performing variable length coding on the quantization result.
16. The image encoding method according to any one of claims 15 to 15.
ンブル工程でスクランブルされたブロックを含むか否か
を示す情報を多重化することを特徴とする請求項１２乃
至１６のいずれか１項に記載の画像符号化方法。17. The method according to claim 12, wherein the multiplexing step further multiplexes information indicating whether or not a block scrambled in the scrambling step is included. Image coding method.
し、前記ビットストリームを、知的財産を保護するため
の保護コードと、１つ或は複数のレイヤとに分配する分
配工程と、 外部から認証用データを入力する認証用データ入力工程
と、 前記認証用データと前記保護コードとの整合を調べる認
証工程と、 前記認証工程での認証結果に基づいて、１つ又は複数の
レイヤのスクランブルを解除するスクランブル解除工程
と、 前記分離工程の出力、もしくは前記スクランブル解除工
程の出力を復号する復号工程と、 前記復号工程で復号された画像を出力する画像出力工程
と、を備えることを特徴とする画像復号方法。18. A distribution step of receiving an encoded bit stream, distributing the bit stream to one or more layers and a protection code for protecting intellectual property, and externally authenticating. An authentication data input step of inputting authentication data; an authentication step of checking the matching between the authentication data and the protection code; and descrambling one or more layers based on an authentication result in the authentication step. An image output step of outputting an image decoded in the decoding step, and a decoding step of decoding the output of the separation step or the output of the descrambling step. Decryption method.
のフレームを再生順序に割り当てて出力することを特徴
とする請求項１８に記載の画像復号方法。19. The image decoding method according to claim 18, wherein in the image output step, frames of the image are assigned to a reproduction order for each layer and output.
択して画像を出力することを特徴とする請求項１８に記
載の画像復号方法。20. The image decoding method according to claim 18, wherein in the image output step, an image is selected and output for each layer.
ビットストリームを同一な符号長の別の符号へ置換する
ことを特徴とする請求項１８に記載の画像復号方法。21. The image decoding method according to claim 18, wherein, in the descrambling step, the bit stream is replaced with another code having the same code length.
ットストリームを入力する入力工程と、 符号化されたコードをブロック毎に可変長復号する可変
長復号工程と、 前記可変長復号工程での復号結果を逆量子化する逆量子
化工程と、 前記逆量子化工程での逆量子化結果を逆直交変換する逆
直交変換工程と、を備えることを特徴とする請求項１８
乃至２１のいずれか１項に記載の画像復号方法。22. The decoding step, comprising: an input step of inputting a bit stream descrambled in the descrambling step; a variable length decoding step of decoding a coded code by a variable length for each block; 19. The method according to claim 18, further comprising: an inverse quantization step of inversely quantizing a decoding result in the decoding step; and an inverse orthogonal transforming step of performing inverse orthogonal transformation on the inverse quantization result in the inverse quantization step.
22. The image decoding method according to any one of claims 21 to 21.
記載の方法を実行するプログラムを記憶した、コンピュ
ータにより読取り可能な記憶媒体。23. A computer-readable storage medium storing a program for executing the method according to any one of claims 12 to 22.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000385941A JP4018335B2 (en) | 2000-01-05 | 2000-12-19 | Image decoding apparatus and image decoding method |
| US09/750,164 US6810131B2 (en) | 2000-01-05 | 2000-12-29 | Information processing method and apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-518 | 2000-01-05 | ||
| JP2000000518 | 2000-01-05 | ||
| JP2000385941A JP4018335B2 (en) | 2000-01-05 | 2000-12-19 | Image decoding apparatus and image decoding method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001258004A true JP2001258004A (en) | 2001-09-21 |
| JP2001258004A5 JP2001258004A5 (en) | 2004-11-18 |
| JP4018335B2 JP4018335B2 (en) | 2007-12-05 |
Family
ID=26583174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000385941A Expired - Fee Related JP4018335B2 (en) | 2000-01-05 | 2000-12-19 | Image decoding apparatus and image decoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4018335B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005011285A1 (en) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, recording medium containing the image encoding program, and recording medium containing the image decoding program |
| EP1650974A2 (en) | 2004-10-25 | 2006-04-26 | Pioneer Corporation | Video signal delivery system and video signal delivery method |
| JP2006333519A (en) * | 2003-12-01 | 2006-12-07 | Samsung Electronics Co Ltd | Method of scalable video coding and decoding, and apparatus thereof |
| JP2007174375A (en) * | 2005-12-22 | 2007-07-05 | Kddi Corp | Image scrambling device and image descrambling device |
| JP2008035551A (en) * | 2007-09-26 | 2008-02-14 | Dolby Lab Licensing Corp | Temporal and resolution layer structure to perform encryption and watermark processing thereon in next generation television |
| JP2008506328A (en) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | A scalable video coding method and apparatus using a base layer. |
| JP2008048447A (en) * | 2007-09-26 | 2008-02-28 | Dolby Lab Licensing Corp | Time and resolution layer structure to apply encryption and watermark processing thereto in next generation television |
| JP2008079326A (en) * | 2003-12-01 | 2008-04-03 | Samsung Electronics Co Ltd | Method and apparatus for scalable video encoding and decoding |
| JP2008131556A (en) * | 2006-11-24 | 2008-06-05 | Mitsubishi Electric Corp | Data converting apparatus and method, and program |
| JP2008311788A (en) * | 2007-06-12 | 2008-12-25 | Canon Inc | Control system of digital-data broadcasting information |
| JP2009141953A (en) * | 2007-12-06 | 2009-06-25 | Samsung Electronics Co Ltd | Method and apparatus encoding/decoding video hierarchically |
| JP2010501141A (en) * | 2006-08-16 | 2010-01-14 | マイクロソフト コーポレーション | Digital video variable resolution encoding and decoding technology |
| WO2010032636A1 (en) * | 2008-09-17 | 2010-03-25 | シャープ株式会社 | Scalable video stream decoding apparatus and scalable video stream generating apparatus |
| JP2010178389A (en) * | 2004-03-04 | 2010-08-12 | Samsung Electronics Co Ltd | Video encoder, predecoding method, video decoding method, devices therefor, and image filtering method, for video streaming services |
| JP2011510552A (en) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | Method and apparatus for selective data encryption |
| US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US8990305B2 (en) | 2006-10-18 | 2015-03-24 | Microsoft Corporation | Techniques for virtual conferencing servers |
-
2000
- 2000-12-19 JP JP2000385941A patent/JP4018335B2/en not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005011285A1 (en) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, recording medium containing the image encoding program, and recording medium containing the image decoding program |
| US7929605B2 (en) | 2003-07-24 | 2011-04-19 | Nippon Telegraph And Telephone Corporation | Image decoding device, image decoding method, image decoding program, recording medium recording image decoding program |
| KR100908422B1 (en) * | 2003-07-24 | 2009-07-21 | 니뽄 덴신 덴와 가부시키가이샤 | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, recording medium recording image coding program, recording medium recording image decoding program |
| JP2006333519A (en) * | 2003-12-01 | 2006-12-07 | Samsung Electronics Co Ltd | Method of scalable video coding and decoding, and apparatus thereof |
| JP4685849B2 (en) * | 2003-12-01 | 2011-05-18 | 三星電子株式会社 | Scalable video coding and decoding method and apparatus |
| JP2008079326A (en) * | 2003-12-01 | 2008-04-03 | Samsung Electronics Co Ltd | Method and apparatus for scalable video encoding and decoding |
| US8929436B2 (en) | 2004-03-04 | 2015-01-06 | Samsung Electronics Co., Ltd. | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method |
| JP2010178389A (en) * | 2004-03-04 | 2010-08-12 | Samsung Electronics Co Ltd | Video encoder, predecoding method, video decoding method, devices therefor, and image filtering method, for video streaming services |
| JP2008506328A (en) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | A scalable video coding method and apparatus using a base layer. |
| EP1650974A2 (en) | 2004-10-25 | 2006-04-26 | Pioneer Corporation | Video signal delivery system and video signal delivery method |
| JP2007174375A (en) * | 2005-12-22 | 2007-07-05 | Kddi Corp | Image scrambling device and image descrambling device |
| JP2010501141A (en) * | 2006-08-16 | 2010-01-14 | マイクロソフト コーポレーション | Digital video variable resolution encoding and decoding technology |
| US10187608B2 (en) | 2006-08-29 | 2019-01-22 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
| US9635314B2 (en) | 2006-08-29 | 2017-04-25 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US8990305B2 (en) | 2006-10-18 | 2015-03-24 | Microsoft Corporation | Techniques for virtual conferencing servers |
| JP2008131556A (en) * | 2006-11-24 | 2008-06-05 | Mitsubishi Electric Corp | Data converting apparatus and method, and program |
| JP2008311788A (en) * | 2007-06-12 | 2008-12-25 | Canon Inc | Control system of digital-data broadcasting information |
| JP2008048447A (en) * | 2007-09-26 | 2008-02-28 | Dolby Lab Licensing Corp | Time and resolution layer structure to apply encryption and watermark processing thereto in next generation television |
| JP2008035551A (en) * | 2007-09-26 | 2008-02-14 | Dolby Lab Licensing Corp | Temporal and resolution layer structure to perform encryption and watermark processing thereon in next generation television |
| JP2009141953A (en) * | 2007-12-06 | 2009-06-25 | Samsung Electronics Co Ltd | Method and apparatus encoding/decoding video hierarchically |
| JP2011510552A (en) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | Method and apparatus for selective data encryption |
| WO2010032636A1 (en) * | 2008-09-17 | 2010-03-25 | シャープ株式会社 | Scalable video stream decoding apparatus and scalable video stream generating apparatus |
| US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4018335B2 (en) | 2007-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6810131B2 (en) | Information processing method and apparatus | |
| KR100657268B1 (en) | Scalable encoding and decoding method of color video, and apparatus thereof | |
| USRE42589E1 (en) | Enhanced MPEG information distribution apparatus and method | |
| EP0649261B1 (en) | Image data processing and encrypting apparatus | |
| US8503671B2 (en) | Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system | |
| Hartung et al. | Watermarking of MPEG-2 encoded video without decoding and reencoding | |
| KR100205701B1 (en) | Transmitter receiver communication processing system integrating ther and digital television broadcasting system | |
| JP4018335B2 (en) | Image decoding apparatus and image decoding method | |
| US20050185795A1 (en) | Apparatus and/or method for adaptively encoding and/or decoding scalable-encoded bitstream, and recording medium including computer readable code implementing the same | |
| US20120230388A1 (en) | Method and system for protecting image data in frame buffers of video compression systems | |
| Park et al. | Combined scheme of encryption and watermarking in H. 264/Scalable Video Coding (SVC) | |
| JPH07212761A (en) | Hierarchical coder and hierarchical decoder | |
| JP3976942B2 (en) | Image processing apparatus and method, and computer-readable recording medium on which an image processing program is recorded | |
| KR20080004565A (en) | Method for scalably encoding and decoding video signal | |
| JP2005535242A (en) | MPEG-4 type audio / video multimedia content scrambling device | |
| AU2002318344B2 (en) | Encrypted and watermarked temporel and resolution layering in advanced television | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| KR100708209B1 (en) | Scalable encoding and decoding method of color video, and apparatus thereof | |
| Kunkelmann et al. | Video encryption based on data partitioning and scalable coding—A comparison | |
| JP2006525731A (en) | Multi-layer coding to support transition to new standards | |
| KR100247249B1 (en) | Moving image copy protection device | |
| US6345120B1 (en) | Image processing system, image data transmission and reception apparatus, and image processing method | |
| JP4018305B2 (en) | Image processing method and apparatus and storage medium | |
| JP4193252B2 (en) | Signal processing apparatus and method, signal decoding apparatus, and signal encoding apparatus | |
| KR0171756B1 (en) | Method and apparatus for extracting the standing fictures from a receiver of digital dbs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070910 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |