JP2003102013A - 復号装置、符号化装置、及び符号化復号装置 - Google Patents

復号装置、符号化装置、及び符号化復号装置

Info

Publication number
JP2003102013A
JP2003102013A JP2001289082A JP2001289082A JP2003102013A JP 2003102013 A JP2003102013 A JP 2003102013A JP 2001289082 A JP2001289082 A JP 2001289082A JP 2001289082 A JP2001289082 A JP 2001289082A JP 2003102013 A JP2003102013 A JP 2003102013A
Authority
JP
Japan
Prior art keywords
block
decoding
encoded data
frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001289082A
Other languages
English (en)
Inventor
Kenichi Iwata
憲一 岩田
Hiroki Watanabe
浩己 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001289082A priority Critical patent/JP2003102013A/ja
Publication of JP2003102013A publication Critical patent/JP2003102013A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 データ量の削減と復号処理効率向上に寄与す
る符号化復号技術を提供する。 【解決手段】 情報フレームが複数のブロックに分割さ
れて符号化されていて前記ブロック単位にフレーム間動
き補償された符号化データを入力して復号する復号装置
(9)に、情報フレームよりも規模の小さな複数ブロッ
クを単位に符号化データの無いブロックの領域を示す符
号語を復号する復号手段(22)を設け、前記復号手段
で復号された前記領域の情報を参照して、前記符号化デ
ータの無いブロックに対する情報再生を行うことを可能
にする。ブロック単位で符号化データの無いことを示す
場合に比べてデータ量が削減される。この符号語を復号
すれば、符号化データの無いブロックの配置が認識可能
になり、符号化データのあるブロックデータの復号に並
行して、符号化データの無いブロックに対する情報再生
のためのDMA転送制御等を並列処理可能になる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像情報などに対
する圧縮・伸張の為の符号化(圧縮符号化)及び復号
(伸張復号)技術に関し、例えば画像情報の処理単位で
ある画像フレームデータに対する圧縮符号化及び伸張復
号を行う画像符号化復号装置に適用して有効な技術に関
する。
【0002】
【従来の技術】画像データは膨大であり、通信回線で伝
送したり、蓄積メディアに記録する際には、画像データ
を圧縮符号化することがよく行われる。画像データの圧
縮に関する国際標準規格には、MPEG(Moving
Picture Experts Group)規格
や、ITU−T(International Tel
ecommunication Union−Tele
communication Standardiza
tion Sector)が定めたH.26xなどがあ
る。
【0003】これらの規格では、離散コサイン変換(D
iscrete Cosine Transform:
以下、DCTと記す)、量子化、動き補償、可変長符号
化を組み合わせた方式を採用している。一般の動画像が
持つ、時空間方向に相関が高いという性質を利用して、
情報圧縮が行われる。まず、画像データの時間的な相関
の高さ、つまり、各画像フレーム間の差分値が小さくな
ることを利用して、データを圧縮するのが動き補償であ
る。動き補償では、符号化すべき画像フレーム(符号化
フレームと記す)を16×16画素の小ブロック(以
下、マクロブロックと記す)単位に分割し、各マクロブ
ロックに対し、時間的に前後する画像フレーム(以下、
参照フレームと記す)の中で空間的な位置をシフトし
て、最もマクロブロック間差分が小さいマクロブロック
とのシフト量(以下、動きベクトルと記す)と前記マク
ロブロック間差分とを符号化する。一方、画像データの
空間的な相関が高いことを利用するのがDCTである。
これは、画像データをDCTにより変換したDCT係数
の電力が、周波数の低域に集中することを利用する。さ
らに、DCT係数を量子化、可変長符号化することでデ
ータを圧縮する。
【0004】ここで、動き補償、DCT、量子化を実行
後、マクロブロック内のDCT係数が全て0、かつ動き
ベクトルが0の場合は、DCT係数や動きベクトル情報
が全くないノットコーデットマクロブロックであるとい
う情報を伝送すれば、受信側に画像データを伝送する必
要はない。ノットコーデットマクロブロックを受信した
復号装置は、現在復号しているフレームのマクロブロッ
クに、参照フレームの同一位置のマクロブロックデータ
を転送すればよい。
【0005】このノットコーデットマクロブロックの情
報を表す方法は、国際標準規格でも規定がある。MPE
G−2(Moving Picture Expert
sGroup Phase−2)では、マクロブロック
の位置を表すのに、符号語macroblock_ad
dress_incrementにより、現在のマクロ
ブロックの位置と直前の符号化マクロブロックの位置の
差分として与える。このmacroblock_add
ress_incrementを1よりも大きく設定す
ることで、現在のマクロブロックと直前の符号化マクロ
ブロックの間のマクロブロックが、DCT係数や動きベ
クトルが符号化されていないことを示している。
【0006】また、H.263やMPEG4(Movi
ng Picture ExpertsGroup P
hase−4)の場合、当該マクロブロックにDCT係
数及び動きベクトルが符号化されていないノットコーデ
ットマクロブロックを明示的に示す1ビットのフラグn
ot_codedが規定されている。
【0007】MPEG4では、更に、画像フレーム全体
で全てのマクロブロックのDCT係数や動きベクトル情
報の有無を示す1ビットのフラグvop_codedを
用いる。フレーム全体で全てのマクロブロックのDCT
係数及び動きベクトル情報が符号化されていなければ、
それをフラグvop_codedの1ビットだけで表す
ことができ、情報量の削減を図っている。
【0008】従来の装置は、特開平6−133303号
公報に記載のように、テレビ電話/テレビ会議などの動
画像符号化装置において、ブロック毎にDCTなどの直
交変換を行うか行わないかの判定に特定の色領域情報を
利用する方法について示されている。ブロック毎の差分
信号が大きい場合には有効ブロック、小さい場合には無
効ブロックと判定し、微小な変化は無効ブロックと判定
され送信せずに、符号化効率を上昇させている。テレビ
電話/テレビ会議システムにおいて通信者以外の背景部
分など通信上あまり意味のない領域に対しても、フリッ
カなどの照明状態の変化により、画面が変化したものと
して符号化情報が発生してしまう。この領域を無効ブロ
ックと判定すれば、背景の画質が下がるものの、通信対
象ブロックへ割り当てる符号情報が増すので、画質ある
いは動きを良くすることが可能になる。すなわち、画像
フレームのうち、必要のない領域の割り当てビット量を
抑えることが画質を向上させることにつながるといえ
る。
【0009】
【発明が解決しようとする課題】しかしながら、上記の
従来技術では、DCT係数や動きベクトルが符号化され
ていないノットコーデットマクロブロックの符号化方法
の点についての配慮がなされておらず、無効ブロックと
判定されたブロックの符号化復号方法自体については示
されていない。画像フレーム内に複数のノットコーデッ
ドマクロブロックが存在している場合、例えばノットコ
ーデットマクロブロックであることが1ビットのフラグ
not_codedで明示的に示されているとしても、
それに対する復号処理では、マクロブロック毎にフラグ
を判定し、ノットコーデットマクロブロックであるとき
は、参照フレームの対応するマクロブロックのデータを
復号フレームに転送する処理を逐次行うことが必要であ
る。ノットコーデットマクロブロックが離散的に配置さ
れている場合には、コーデットマクロブロックに対する
復号処理と、ノットコーデットマクロブロックに対応し
てデータ転送処理をランダムに繰返すことが必要にな
り、復号処理を予めスケジューリングして効率化するこ
ともできず、処理が煩雑化してしまう。また、国際標準
規格では画像フレーム内の複数のノットコーデッドマク
ロブロックを効率よく符号化する方法については規定さ
れていない。
【0010】本発明の目的は、情報フレームを分割した
ブロック単位に直交変換やフレーム間動き補償を行って
符号化するときDCT係数や動きベクトルのような符号
化すべきデータが全く無いことを効率的に示す符号化技
術を提供することにある。
【0011】本発明の別の目的は、情報フレームを分割
したブロック単位に直交変換やフレーム間動き補償を行
って符号化された符号化データが無いブロックの情報再
生を効率的に行うことができる復号技術を提供すること
にある。
【0012】本発明の前記並びにその他の目的と新規な
特徴は本明細書の記述及び添付図面から明らかになるで
あろう。
【0013】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば下記
の通りである。
【0014】〔1〕本発明に係る復号技術では、情報フ
レームが複数のブロックに分割されて符号化されていて
前記ブロック単位にフレーム間動き補償された符号化デ
ータを入力して復号する復号装置に、前記情報フレーム
よりも規模の小さな複数ブロックを単位に符号化データ
の無いブロックの領域を示す符号語を復号する復号手段
を設け、前記復号手段で復号された前記領域の情報を参
照して、前記符号化データの無いブロックに対する情報
再生を行うことを可能にするものである。
【0015】上記した手段によれば、符号化データの無
いブロックとは、例えばMPEG4において当該マクロ
ブロックにDCT係数及び動きベクトルが符号化されて
いないノットコーデットブロック等を意味する。ノット
コーデットブロックのような符号化データの無いブロッ
クに対してその領域を複数ブロック単位で示す符号語を
採用する。ブロック単位で符号化データの無いことを示
す場合に比べてデータ量が削減される。この符号語を復
号すれば、前記ノットコーデットブロックのような符号
化データの無いブロックの配置が認識可能になる。前記
符号語を一つ復号すれば複数ブロック単位の範囲で符号
化データの無いブロックの配置が明らかになるので、そ
のような符号化データの無いブロックに対する情報再生
のためのデータ転送制御等の処理に対するスケジューリ
ングが容易になり、情報再生処理を効率化できる。
【0016】前記複数ブロックを単位に符号化データの
無いブロックの領域を示す符号語は、前記情報フレーム
よりも規模の小さな複数ブロックにおける符号化データ
の無いブロックの配列態様に応じて予め決められている
符号語とすればよい。
【0017】前記符号化データの無いブロックに対する
情報再生は、参照フレームから前記領域の情報で特定さ
れるブロックのデータを復号フレームの対応ブロックに
転送する処理とすればよい。
【0018】前記復号手段による復号処理を前記符号化
データの復号処理に先立って行うことが望ましい。これ
によれば、符号化データの無いブロックに対する情報再
生のためのデータ転送制御に並行して、前記符号化デー
タの復号処理等を行うことが可能になり、復号処理効率
を更に向上させることが可能になる。
【0019】〔2〕本発明に係る符号化技術では、情報
フレームを複数のブロックに分割し前記ブロック単位に
フレーム間動き補償を行って符号化データを生成する符
号化装置に、前記情報フレームよりも規模の小さな複数
ブロックを単位に符号化データの無いブロックの領域を
示す符号語を生成する符号化手段を設け、前記符号化手
段で生成された符号語を、前記符号化データを有するブ
ロック単位の符号化データと共に出力することを可能に
するものである。
【0020】この符号化手段によれば、情報フレームを
分割したブロック単位に直交変換やフレーム間動き補償
を行って符号化するときDCT係数や動きベクトルのよ
うな符号化すべきデータの全く無いことを効率的に示す
ことができ、符号化データのデータ低減に寄与すること
ができる。
【0021】上記復号技術と符号化技術により、符号化
データ量の削減、復号処理効率の向上を達成することが
できる符号化復号装置を実現可能になる。
【0022】〔3〕本発明に係る復号技術及び符号化技
術において、符号化データの無いブロックの領域を示す
符号語の単位は、前記情報フレームよりも規模の小さな
複数ブロックを単位とする場合には、例えば、前記画像
情報フレームのブロックラインの単位としてよい。ま
た、そのような単位を前記画像情報フレーム単位とすれ
ば、そのときの符号語は、フレームの一部で符号化デー
タの無いブロックの領域を示す情報になる。また、その
ような単位を、ビットストリームエラー回復用の再同期
マーカに挟まれたビデオパケット単位としてもよい。
【0023】
【発明の実施の形態】図1には本発明に係る復号装置の
一例である画像復号装置を携帯電話機に適用した例が示
される。図1において、1はアンテナ、2はRF(Radi
o Frequency)部、3はメモリ、4はホストプロセッ
サ、5はシステムバス、6は多重分離部、7は音声符号
化復号部、8は画像符号化装置、9は画像復号装置、1
0は画像符号化復号装置、11はLCDコントローラ、
12はD/A変換器、13,14はA/D変換器、15
はスピーカ、16はマイク、17はカメラ、18はLC
Dである。画像復号装置9において、21が可変長復号
部、22がノットコーデット領域復号部、23が係数復
号部、24が動きベクトル復号部、25が逆量子化部、
26が逆DCT部、27が加算器、28が動き補償部、
29がフレームメモリである。
【0024】画像復号装置9における画像データの復号
再生機能について説明する。通信電波をアンテナ1で受
け、RF部2で受信信号を復調し、ホストプロセッサ4
はシステムバス5を介してメモリ3にアクセスしながら
ベースバンド処理を行い、符号化された音声データと符
号化された画像データが多重化されたシステムストリー
ムを得る。多重分離部6は、前記システムストリームを
解析し、符号化音声データ、符号化画像データに分離す
る。前記符号化音声データは音声符号化復号部7へ、符
号化画像データは、画像符号化復号装置10内の画像復
号装置9へ送られる。音声符号化復号部7は符号化音声
データを解析し、復号し、復号された音声データがD/
A変換器12でアナログ音声情報に変換され、スピーカ
15へ出力される。画像復号装置9は、符号化画像デー
タの画像サイズなどのパラメータを抽出し、符号化画像
データを復号する。復号結果は表示フレーム順にLCD
コントローラ11へ送られ、LCD18で表示される。
また、図1は、画像音声データの符号化のための構成も
示されており、その詳細は後述する。
【0025】画像復号装置9での画像の復号動作を説明
する。多重分離部6より送られた符号化画像データは、
可変長復号部21に入力され、ビット毎に解析される。
複数のノットコーデットマクロブロック領域情報を示す
符号語はノットコーデット領域復号部22により復号さ
れる。ノットコーデットマクロブロックとは、DCT計
数及び動きベクトルが無い(“0”とされる)マクロブ
ロックを意味する。ノットコーデットマクロブロック領
域情報を復号することにより、ノットコーデットである
マクロブロックの位置情報が得られる。この位置情報を
動き補償部28に通知する。動き補償部28は、フレー
ムメモリ29内の現在復号しているフレームメモリのマ
クロブロック位置に、参照フレームの同一位置のマクロ
ブロックのデータを転送する。また、マクロブロックが
ノットコーデットではないと復号されたマクロブロック
は、係数復号部23で復号されたDCT係数を、逆量子
化部25で逆量子化処理を行い、逆DCT部26にて逆
DCTをする。動きベクトル復号部24で復号された動
きベクトルを元にフレームメモリ29内の参照フレーム
の参照マクロブロックのデータと逆DCT部26の出力
データを加算器27で加算してフレームメモリ29内の
現在復号しているフレームメモリのマクロブロック位置
に復号データを格納する。この一連の動作で画像フレー
ムの復号が完了し、現在復号した画像フレームは次の画
像フレームの復号のための参照フレームとなる。
【0026】ここで、ノットコーデット領域復号部22
により復号する複数のノットコーデットマクロブロック
領域情報を示す符号語について説明する。図2に、時間
的に連続し、動き補償を行う対象の現在復号する画像フ
レームとその参照フレームの2つの画像フレームを重ね
合わせた一例を示す。図2において31は画像フレー
ム、網掛けされた32はマクロブロック、33が参照フ
レームにおける移動物体、34が現在復号する画像フレ
ームにおける移動物体、35が移動物体の動きベクトル
を表している。この図の場合、画像フレームは例えば1
1×9個のマクロブロックから構成されている。また移
動物体34,35以外の領域は変化がないことを示して
いる。図3は、図2の例をフレーム間予測符号化で符号
化した場合の、各マクロブロック毎にノットコーデット
マクロブロックを1(図3の36)、DCT係数または
動きベクトルがあるマクロブロックを0(図3の37)
としてそれぞれ示している。本発明に係る符号化復号装
置では、図3に示される複数のノットコーデットマクロ
ブロックをある単位毎にまとめて符号化復号する。以
下、その詳細を説明する。
【0027】図4及び図5に複数のノットコーデットマ
クロブロック領域をまとめて符号化復号する例を示す。
図6にはその符号語の一部を例示し、図7乃至図11に
はノットコーデットマクロブロックの出現パターンを考
慮して予め符号語を定義したときの態様が例示される。
【0028】図4は、マクロブロックライン毎にノット
コーデットマクロブロック領域を符号化する例を示して
いる。例えば、図4の38のように1マクロブロックラ
インの全てのマクロブロックがノットコーデットの場合
の符号語を図6のa欄に示されるように割り当てる。こ
のとき、図7に例示されるように、マクロブロックライ
ン毎にノットコーデットマクロブロックの出現パターン
を示す符号語を与えるように予め定義しておけばよい。
図6のb欄に示されるように例えば2マクロブロックラ
イン毎に符号語を与えても良い。このときも、図8に例
示されるように、マクロブロックライン毎にノットコー
デットマクロブロックの出現パターンを示す符号語を与
えるように予め定義しておけばよい。出現パターンのう
ち頻度の高いものに短い符号語を割り当てることで、符
号化効率を向上することが可能である。
【0029】また図5は、空間的に近傍の複数のノット
コーデットマクロブロック領域を水平垂直のベクトルで
表せるようにまとめて符号化する場合の一例を示す。図
5の41は、水平5マクロブロック、垂直3マクロブロ
ックがノットコーデットであること、42は水平6マク
ロブロック、垂直2マクロブロックがノットコーデット
であることを示すように、それぞれ図6のc欄、d欄の
ように符号語を割り当てる。このときも、図9及び図1
0に例示されるように、マクロブロックライン毎にノッ
トコーデットマクロブロックの出現パターンを示す符号
語を与えるように予め定義しておけばよい。この例の場
合も、出現パターンのうち頻度の高いものに短い符号語
を割り当てることで、符号化効率を向上することが可能
である。
【0030】また、図6のe欄に示されるように、本発
明の枠組みの中で、複数のノットコーデットマクロブロ
ック領域が画像フレームの全てになるような符号語を割
り当てることで、MPEG4において規定されている1
フレーム全体で全てのマクロブロックのDCT係数や動
きベクトル情報が全くないことを示す1ビットのフラグ
vop_codedを表すことが可能である。複数のノ
ットコーデットマクロブロックの配列を表す符号語に対
する符号化復号の単位を1フレーム全体とする場合に、
前記フラグvop_codedとは別に、図11に例示
されるように1フレームを単位としてノットコーデット
マクロブロックの出現パターンを示す符号語を与えるよ
うに予め定義してもよい。
【0031】図12には、MPRG4規格に本発明を適
用するときのデータ構造について提示する。MPEG4
規格において画像データの符号化は階層構造をとってい
る。この中で、複数の画像フレームをまとめるビデオオ
ブジェクトレイヤは、図12の(a)欄に示されるよう
にヘッダ、ユーザデータ、複数の画像フレームデータか
ら構成される。このうちユーザデータは、ユーザデータ
を示す識別子の後にユーザデータを挿入することが許さ
れているので、図12の(b)欄に示されるように、こ
こに本発明の符号化方法を示す識別子(符号化方法指示
識別子)を挿入することが可能である。また、フレーム
データは図12の(c)欄に示されるように、フレーム
データ識別子、フレームヘッダ、符号化されたマクロブ
ロックデータで構成されるので、フレームヘッダを拡張
する形で、本発明による複数のノットコーデットマクロ
ブロック領域を示す符号語を入れればよい。例えば、例
えば、前記符号化方法識別子には図7に例示されるよう
に、フレームライン単位でノットコーデットマクロブロ
ック領域の配置を示す符号語を用いた符号化が行われて
いることを示す情報が含まれる。このとき、フレームヘ
ッダには、図7で例示されるような符号語が含まれてい
る。フレームヘッダに後続するマクロブロックデータに
は、ノットコーデットマクロブロック領域の配置を示す
符号語によって定義されるノットコーデットマクロブロ
ックのマクロブロックデータは含まれていない。
【0032】上記ビデオオブジェクトデータ構造に代表
されるように、ノットコーデットマクロブロック領域の
配置を示す符号語を採用して符号化が行われていること
により、画像フレーム内のある領域のマクロブロックに
対して、ノットコーデット、あるいはコーデットである
マクロブロック位置、個数を各マクロブロックの復号に
先立ち知ることができることができる。したがって、マ
クロブロックのような領域単位での処理の複雑さが予め
分かり、処理スケジュールを容易にすることが可能にな
る。例えば、ノットコーデットマクロブロックに関して
は、参照フレームの対応マクロブロックのデータを復号
フレームの対応マクロブロックにデータ転送すればよい
ので、DMAC(Direct Memory Access Controller)
を用いたDMA転送で先にノットコーデットブロックに
対して連続的にデータ転送を行うようにし、その間、デ
ータ転送制御の負担のないプロセッサ若しくはCPUを
用いてコーデットブロックに対する復号処理を並列に実
行したりすることが可能になる。
【0033】図13には前記画像復号装置9の別の例が
示される。同図に示される構成は半導体集積回路の回路
ブロックダイアグラムの観点より前記画像復号装置9の
構成を示している。
【0034】図13において、50がストリームI/
F、51がメモリ、52がプロセッサ、53がバス、5
4がビデオI/Fである。またメモリ51内にはノット
コーデット情報バッファ51Aが設けられ、動き補償部
28内にはコマンドリストバッファ28Aが設けられて
いる。
【0035】図13の構成において、符号化画像データ
の可変長復号、逆量子化までの処理をプロセッサ52に
よるソフトウェア処理で行い、その後の処理である逆D
CT処理を逆DCT処理部26で行い、動き補償処理を
動き補償部28の専用ハードウェアで実行する。この例
では、ソフトウェアとハードウェアのハイブリッドアー
キテクチャの一例とされている。
【0036】図14には画像復号処理のフローチャート
が示される。まず符号化された画像データをストリーム
I/F50、システムバス53を介してメモリ51に格
納する。プロセッサ52は、メモリ51に格納された画
像データを解析し、デコードを開始する。複数のノット
コーデットマクロブロック領域を復号し、メモリ51内
のノットコーデット情報バッファ51Aに、ノットコー
デットマクロブロック位置、数を保持する(ステップS
1)。次に動き補償部28のコマンドリストバッファ2
8Aに、ノートコーデットマクロブロックのデータ転送
処理コマンドを書き込む(ステップS2)。動き補償部
28は、コマンドリストバッファ28Aに従ってノット
コーデットマクロブロックのデータ転送を開始する(ス
テップS3)。この処理は、プロセッサ52の処理から
みてバックグラウンド処理になる。即ち、この処理はダ
イレクトメモリアクセス転送制御となる。プロセッサ5
2は、続いてコーデットのマクロブロックの可変長復号
(ステップS4)、逆量子化を実行し、係数を逆DCT
部26へ転送後、逆DCT処理の起動する(ステップS
5)。さらに動き補償処理を実行するためのコマンドを
コマンドリストバッファ28Aに書き込む(ステップS
6)。コーデットマクロブロックのデコードは、画像フ
レームの最後、あるいはビットストリームエラー回復用
のビットストリーム再同期用マーカがあるまで行われる
(ステップS7)。画像フレームのデコードが完了する
と、ビデオI/F54は、フレームメモリ29から画像
データを読み出し、出力する。
【0037】符号化された画像データの発生符号量は、
マクロブロックの状態により変動し、その復号処理時間
は大きく変動してしまう。上述の例のように、複数のノ
ットコーデットマクロブロック領域をまとめて復号し、
且つ、その復号結果に基づいてダイレクトメモリアクセ
ス転送制御のようなデータ転送処理を行う手段を備える
ことで、マクロブロックにより変動する復号処理時間を
吸収する効果を得ることができる。
【0038】図15はには本発明に係る符号化装置の一
例である画像符号化装置を携帯電話機に適用した例が示
される。図1で説明した機能モジュール若しくは機能ブ
ロックと同一機能を有するのもにはそれと同一参照符号
を付してその詳細な説明を省略する。
【0039】図15において、61は動き検出部、62
は減算器、63はDCT部、64は量子化部、65はノ
ットコーデット判定部、66は可変長符号化部、67は
ノットコーデット領域符号化部、68は係数符号化部、
69は動きベクトル符号化部、70は多重化部である。
【0040】図15において、音声画像データを符号化
する機能を説明する。カメラ17でキャプチャされた画
像データは、A/D変換器14でディジタル化され、画
像符号化装置8へと送られる。画像符号化装置8は、入
力された画像データを符号化し、符号化画像データを多
重分離部6へ出力する。また、マイク16でキャプチャ
された音声データは、A/D変換器13でディジタル化
され、音声符号化復号部7に入力される。音声符号化復
号部7は、入力音声データを符号化し、符号化音声デー
タを多重分離部6へ出力する。多重分離部6は、符号化
された音声画像データを多重化してシステムストリーム
を生成する。ホストプロセッサ4は、多重分離部6で生
成された前記システムストリームに対して、ベースバン
ド処理を行い、RF部2がRF処理を実行し、アンテナ
1より通信電波を送出する。
【0041】画像符号化装置8による符号化機能を図1
6に示すフローチャートに従って説明する。A/D変換
器14より入力された画像データは、マクロブロックご
とに動き検出部61でフレームメモリ29内の参照フレ
ームにおいて空間的な位置をシフトしながら、マクロブ
ロック差分を計算し、前記マクロブロック差分が最小に
なるような動きベクトルを計算する(ステップS1
1)。マクロブロック差分が最小になる動きベクトル情
報は動きベクトル符号化部69へ送出される。また、入
力マクロブロックと、動き検出部61により求められた
参照マクロブロックの差分データは減算器62により求
められ(ステップS12)、DCT部63にてDCT係
数に変換され(ステップS13)、さらに量子化部64
にて量子化処理が施される(ステップS14)。ノット
コーデット判定部65では、求められた量子化されたD
CT係数と、動きベクトル情報の全てが“0”かどうか
判定を行い、全て“0”の場合ノットコーデットマクロ
ブロックと判定する(ステップS15)。ノットコーデ
ットマクロブロックと判定された場合、そのマクロブロ
ック位置情報と合わせてノットコーデット領域符号化部
67へと送られ、保持される(ステップS16)。また
ノットコーデットマクロブロックではないと判定された
コーデットマクロブロックの場合、量子化されたDCT
係数は係数符号化部68で可変長符号化され、また動き
ベクトルは動きベクトル符号化部69で可変長符号化さ
れる(ステップS17)。この処理は、例えば、1マク
ロブロックライン単位というように、複数のノットコー
デットをまとめて符号化する単位で実行される(ステッ
プS18)。その後、ノットコーデット領域符号化部6
7が、ノットコーデットマクロブロック領域を符号化す
る(ステップS19)。さらに、多重化部70は、ステ
ップS17で符号化したコーデットマクロブロックの可
変長符号化データ、さらに画像フレームヘッダなどを多
重し(ステップS20)、可変長符号化部66は符号化
データを出力する。また、これと同時に、量子化部64
の出力であるDCT係数は逆量子化部25で逆量子化処
理、逆DCT部26で逆DCT処理が施され、加算器2
7で参照マクロブロックデータと加算されフレームメモ
リ29に格納される(ローカルデコード動作)。以上の
動作により、一つの画像フレーム全体が符号化される
と、符号化されたフレームは、フレームメモリ29へ格
納され、次の符号化するフレームの参照フレームとなる
ように動作する。
【0042】ノットコーデット領域符号化部67は、前
記図6乃至図11で説明したように、画像フレームのフ
レームラインのような所定の複数のマクロブロック単位
でノットコーデットマクロブロックの領域を示すように
符号化する。
【0043】上記符号化装置により、従来のMPEG4
のマクロブロック単位のフラグnot_codedのよ
うな符号に比べて、ノットコーデットマクロブロックを
示す符号語数を抑えることができ、他の符号化対象マク
ロブロックへ割り当てる符号情報を増すことが可能にな
り、符号化対象領域の画質あるいは動きを良くすること
が可能になる。すなわち、全体の符号化効率の向上に寄
与することができる。
【0044】以上本発明者によってなされた発明を実施
形態に基づいて具体的に説明したが、本発明はそれに限
定されるものではなく、その要旨を逸脱しない範囲にお
いて種々変更可能であることは言うまでもない。
【0045】例えば、ノットコーデットマクロブロック
領域のパターンと符号語の関係は図6乃至図11に例示し
たないように限定されず適宜変更可能である。また、本
発明では、圧縮率が問題に成らなければ、DCT変換の
ような直交変換を必ずしも行う必要はない。また、ノッ
トコーデットマクロブロックの出現パターンに応じて種
々の符号語を予め定義して、符号化復号処理を行う場合
について説明したが、例えば図6のa,b,c,d欄に
示されように、ノットコーデットマクロブロックだけの
種々の矩形領域に符号語を割当てるように符号化復号処
理を行うようにしてもよい。
【0046】また、本発明に係る復号技術及び符号化技
術において、符号化データの無いブロックの領域を示す
符号語の単位は、前述の画像情報フレームのブロックラ
イン単位、或は前記画像情報フレーム単位等とする場合
に限定されない。例えば、ビットストリームエラー回復
用の再同期マーカに挟まれたビデオパケット単位として
もよい。
【0047】本発明は携帯電話機限らず、情報の圧縮符
号化、符号化情報の伸張復号等を行う、その他の形態情
報端末やパーソナルコンピュータ装置などに広く適用す
ることができる。
【0048】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば下記
の通りである。
【0049】すなわち、ノットコーデット領域のような
符号化データの無いブロックの領域情報を復号する手段
を採用することにより、符号化されたビットストリーム
を効率よく復号できる。
【0050】更に、符号化データの無いブロックの領域
情報を復号する処理を前記符号化データの復号処理に先
立って行うことにより、符号化データの無いブロックに
対する情報再生のためのデータ転送制御に並行して、前
記符号化データの復号処理等を行うことが可能に成り、
復号処理効率を更に向上させることが可能になる。
【0051】ノットコーデット領域のような符号化デー
タの無いブロックの領域の情報を符号化する手段を採用
することにより、符号化データの無いブロックの領域を
表す情報量を少なくすることができ、画像データを効率
よく符号化することが可能になる。この効果は、他の重
要な情報を含むマクロブロックに対するビット割り当て
量を増すことが可能になり、画質等の向上に寄与する。
【図面の簡単な説明】
【図1】本発明に係る復号装置の一例である画像復号装
置を適用した携帯電話機のブロック図である。
【図2】時間的に連続し、動き補償を行う対象の現在復
号する画像フレームとその参照フレームの2つの画像フ
レームを重ね合わせた時の様子を例示する説明図であ
る。
【図3】図2の例をフレーム間予測符号化で符号化した
場合のノットコーデットマクロブロックの配置を例示す
る説明図である。
【図4】マクロブロックライン毎にノットコーデットマ
クロブロック領域を符号化する例を概念的に示した説明
図である。
【図5】空間的に近傍の複数のノットコーデットマクロ
ブロック領域を水平及び垂直のベクトルで表せるように
まとめて符号化する例を概念的にを示した説明図であ
る。
【図6】ノットコーデットブロック領域の符号化単位と
それに割当てられる符号語の一部を例示した説明図であ
る。
【図7】図6のa欄のようなマクロブロックライン毎に
ノットコーデットマクロブロックの出現パターンを示す
符号語を与えるようにしたとき出現パターンと符号語の
態様を例示する説明図である。
【図8】図6のb欄のような2マクロブロックライン毎
にノットコーデットマクロブロックの出現パターンを示
す符号語を与えるようにしたとき出現パターンと符号語
の態様を例示する説明図である。
【図9】図6のc欄のように3×5のマクロブロックラ
イン毎にノットコーデットマクロブロックの出現パター
ンを示す符号語を与えるようにしたとき出現パターンと
符号語の態様を例示する説明図である。
【図10】図6のd欄のように2×6のマクロブロック
ライン毎にノットコーデットマクロブロックの出現パタ
ーンを示す符号語を与えるようにしたとき出現パターン
と符号語の態様を例示する説明図である。
【図11】複数のノットコーデットマクロブロックの配
列を表す符号語に対する符号化復号の単位を1フレーム
全体とする場合にMPEG4のフラグvop_code
dとは別にしたときの1フレーム単位のノットコーデッ
トマクロブロックの出現パターンと符号語の態様を例示
する説明図である。
【図12】MPRG4規格に本発明を適用するときの符
号化データ構造を例示する説明図である。
【図13】前記画像復号装置の構成を半導体集積回路の
回路ブロックダイアグラムの観点より例示するブロック
図である。
【図14】画像復号処理を例示するフローチャートであ
る。
【図15】本発明に係る符号化装置の一例である画像符
号化装置を適用した携帯電話機のブロック図である。
【図16】画像符号化装置による符号化機能を例示する
フローチャートである。
【符号の説明】
1 アンテナ 2 RF部 3 メモリ 4 ホストプロセッサ 5 システムバス 6 多重分離部 7 音声符号化復号部 8 画像符号化装置 9 画像復号装置 10 画像符号化復号装置 11 LCDコントローラ 12 D/A変換器 13,14 A/D変換器 15 スピーカ 16 マイク 17 カメラ 18 LCD 21 可変長復号部 22 ノットコーデット領域復号部 23 係数復号部 24 動きベクトル復号部 25 逆量子化部 26 逆DCT部 27 加算器 28 動き補償部 29 フレームメモリ 51 メモリ 52 プロセッサ 61 動き検出部 62 減算器 63 DCT部 64 量子化部 65 ノットコーデット判定部 66 可変長符号化部 67 ノットコーデット領域符号化部 68 係数符号化部 69 動きベクトル符号化部 70 多重化部
フロントページの続き Fターム(参考) 5C059 MA00 MA23 MC11 MC38 ME01 PP04 RC24 RC37 SS07 SS30 UA02 UA05 UA33 5J064 AA02 BA04 BA16 BB02 BC01 BC02 BC06 BC07 BC08 BC16 BC25 BC29 BD02 BD04

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 情報フレームが複数のブロックに分割さ
    れて符号化されていて前記ブロック単位にフレーム間動
    き補償された符号化データを入力して復号する復号装置
    において、前記情報フレームよりも規模の小さな複数ブ
    ロックを単位に符号化データの無いブロックの領域を示
    す符号語を復号する復号手段を設け、前記復号手段で復
    号された前記領域の情報を参照して、前記符号化データ
    の無いブロックに対する情報再生を行うことを特徴とす
    る復号装置。
  2. 【請求項2】 前記ブロックの領域を示す符号語は、前
    記情報フレームよりも規模の小さな複数ブロックにおけ
    る符号化データの無いブロックの配列態様に応じて予め
    決められている符号語であることを特徴とする請求項1
    記載の復号装置。
  3. 【請求項3】 前記符号化データの無いブロックに対す
    る情報再生は、参照フレームから前記領域の情報で特定
    されるブロックのデータを復号フレームの対応ブロック
    に転送する処理であることを特徴とする請求項1記載の
    復号装置。
  4. 【請求項4】 前記復号手段による復号処理を前記符号
    化データの復号処理に先立って行うことを特徴とする請
    求項1記載の復号装置。
  5. 【請求項5】 情報フレームを複数のブロックに分割し
    前記ブロック単位にフレーム間動き補償を行って符号化
    データを生成する符号化装置において、前記情報フレー
    ムよりも規模の小さな複数ブロックを単位に符号化デー
    タの無いブロックの領域を示す符号語を生成する符号化
    手段を設け、前記符号化手段で生成された符号語と、前
    記符号化データを有するブロック単位の符号化データと
    を出力することを特徴とする符号化装置。
  6. 【請求項6】 前記ブロックの領域を示す符号語は、前
    記情報フレームよりも規模の小さな複数ブロックにおけ
    る符号化データの無いブロックの配列態様に応じて予め
    決められている符号語であることを特徴とする請求項5
    記載の符号化装置。
  7. 【請求項7】 情報フレームが複数のブロックに分割さ
    れて符号化されていて前記ブロック単位にフレーム間動
    き補償された符号化データを入力して復号する復号部
    と、情報フレームを複数のブロックに分割し前記ブロッ
    ク単位にフレーム間動き補償を行って符号化データを生
    成する符号化部とを有し、前記復号部に、前記情報フレ
    ームよりも規模の小さな複数ブロックを単位に符号化デ
    ータの無いブロックの領域を示す符号語を復号する復号
    手段を設け、前記復号手段で復号された前記領域の情報
    を参照して、前記符号化データの無いブロックに対する
    情報再生を可能とし、前記符号化部に、前記情報フレー
    ムよりも規模の小さな複数ブロックを単位に符号化デー
    タの無いブロックの領域を示す符号語を生成する符号化
    手段を設け、前記符号化手段で生成された符号語と、前
    記符号化データを有するブロック単位の符号化データと
    を出力可能にしたことを特徴とする符号化復号装置。
  8. 【請求項8】 画像情報フレームが複数のブロックに分
    割されて符号化されていて前記ブロック単位にフレーム
    間動き補償された符号化データを入力して復号する復号
    装置において、前記画像情報フレームのブロックライン
    を単位に符号化データの無いブロックの領域を示す符号
    語を復号する復号手段を設け、前記復号手段で復号され
    た前記領域の情報を参照して、前記符号化データの無い
    ブロックに対する情報再生を行うことを特徴とする復号
    装置。
  9. 【請求項9】 画像情報フレームを複数のブロックに分
    割し前記ブロック単位にフレーム間動き補償を行って符
    号化データを生成する符号化装置において、前記画像情
    報フレームのブロックラインを単位に符号化データの無
    いブロックの領域を示す符号語を生成する符号化手段を
    設け、前記符号化手段で生成された符号語と、前記符号
    化データを有するブロック単位の符号化データとを出力
    することを特徴とする符号化装置。
  10. 【請求項10】 画像情報フレームが複数のブロックに
    分割されて符号化されていて前記ブロック単位にフレー
    ム間動き補償された符号化データを入力して復号する復
    号部と、画像情報フレームを複数のブロックに分割し前
    記ブロック単位にフレーム間動き補償を行って符号化デ
    ータを生成する符号化部とを有し、前記復号部に、前記
    画像情報フレームのブロックラインを単位に符号化デー
    タの無いブロックの領域を示す符号語を復号する復号手
    段を設け、前記復号手段で復号された前記領域の情報を
    参照して、前記符号化データの無いブロックに対する情
    報再生を可能とし、前記符号化部に、前記画像情報フレ
    ームのブロックラインを単位に符号化データの無いブロ
    ックの領域を示す符号語を生成する符号化手段を設け、
    前記符号化手段で生成された符号語と、前記符号化デー
    タを有するブロック単位の符号化データとを出力可能に
    したことを特徴とする符号化復号装置。
  11. 【請求項11】 画像情報フレームが複数のブロックに
    分割されて符号化されていて前記ブロック単位にフレー
    ム間動き補償された符号化データを入力して復号する復
    号装置において、前記画像情報フレーム単位にその一部
    で符号化データの無いブロックの領域を示す符号語を復
    号する復号手段を設け、前記復号手段で復号された前記
    領域の情報を参照して、前記符号化データの無いブロッ
    クに対する情報再生を行うことを特徴とする復号装置。
  12. 【請求項12】 画像情報フレームを複数のブロックに
    分割し前記ブロック単位にフレーム間動き補償を行って
    符号化データを生成する符号化装置において、前記画像
    情報フレーム単位にその一部で符号化データの無いブロ
    ックの領域を示す符号語を生成する符号化手段を設け、
    前記符号化手段で生成された符号語と、前記符号化デー
    タを有するブロック単位の符号化データとを出力するこ
    とを特徴とする符号化装置。
  13. 【請求項13】 画像情報フレームが複数のブロックに
    分割されて符号化されていて前記ブロック単位にフレー
    ム間動き補償された符号化データを入力して復号する復
    号部と、画像情報フレームを複数のブロックに分割し前
    記ブロック単位にフレーム間動き補償を行って符号化デ
    ータを生成する符号化部とを有し、前記復号部に、前記
    画像情報フレーム単位にその一部で符号化データの無い
    ブロックの領域を示す符号語を復号する復号手段を設
    け、前記復号手段で復号された前記領域の情報を参照し
    て、前記符号化データの無いブロックに対する情報再生
    を可能とし、前記符号化部に、前記画像情報フレーム単
    位にその一部で符号化データの無いブロックの領域を示
    す符号語を生成する符号化手段を設け、前記符号化手段
    で生成された符号語と、前記符号化データを有するブロ
    ック単位の符号化データとを出力可能にしたことを特徴
    とする符号化復号装置。
  14. 【請求項14】 画像情報フレームが複数のブロックに
    分割されて符号化されていて前記ブロック単位にフレー
    ム間動き補償された符号化データを入力して復号する復
    号装置において、ビットストリームエラー回復用の再同
    期マーカに挟まれたビデオパケット単位に符号化データ
    の無いブロックの領域を示す符号語を復号する復号手段
    を設け、前記復号手段で復号された前記領域の情報を参
    照して、前記符号化データの無いブロックに対する情報
    再生を行うことを特徴とする復号装置。
  15. 【請求項15】 画像情報フレームを複数のブロックに
    分割し前記ブロック単位にフレーム間動き補償を行って
    符号化データを生成する符号化装置において、ビットス
    トリームエラー回復用の再同期マーカに挟まれたビデオ
    パケット単位に符号化データの無いブロックの領域を示
    す符号語を生成する符号化手段を設け、前記符号化手段
    で生成された符号語と、前記符号化データを有するブロ
    ック単位の符号化データとを出力することを特徴とする
    符号化装置。
  16. 【請求項16】 画像情報フレームが複数のブロックに
    分割されて符号化されていて前記ブロック単位にフレー
    ム間動き補償された符号化データを入力して復号する復
    号部と、画像情報フレームを複数のブロックに分割し前
    記ブロック単位にフレーム間動き補償を行って符号化デ
    ータを生成する符号化部とを有し、前記復号部に、ビッ
    トストリームエラー回復用の再同期マーカに挟まれたビ
    デオパケット単位に符号化データの無いブロックの領域
    を示す符号語を復号する復号手段を設け、前記復号手段
    で復号された前記領域の情報を参照して、前記符号化デ
    ータの無いブロックに対する情報再生を可能とし、前記
    符号化部に、ビットストリームエラー回復用の再同期マ
    ーカに挟まれたビデオパケット単位に符号化データの無
    いブロックの領域を示す符号語を生成する符号化手段を
    設け、前記符号化手段で生成された符号語と、前記符号
    化データを有するブロック単位の符号化データとを出力
    可能にしたことを特徴とする符号化復号装置。
JP2001289082A 2001-09-21 2001-09-21 復号装置、符号化装置、及び符号化復号装置 Pending JP2003102013A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001289082A JP2003102013A (ja) 2001-09-21 2001-09-21 復号装置、符号化装置、及び符号化復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001289082A JP2003102013A (ja) 2001-09-21 2001-09-21 復号装置、符号化装置、及び符号化復号装置

Publications (1)

Publication Number Publication Date
JP2003102013A true JP2003102013A (ja) 2003-04-04

Family

ID=19111630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001289082A Pending JP2003102013A (ja) 2001-09-21 2001-09-21 復号装置、符号化装置、及び符号化復号装置

Country Status (1)

Country Link
JP (1) JP2003102013A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011121894A1 (ja) * 2010-03-31 2013-07-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011121894A1 (ja) * 2010-03-31 2013-07-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8948243B2 (en) 2010-03-31 2015-02-03 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method

Similar Documents

Publication Publication Date Title
US10721480B2 (en) Image processing apparatus and method
US8254707B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
US8665943B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5619790B2 (ja) 二層符号化及び単層復号化による階層的ビデオ符号化
JP3659161B2 (ja) 動画像符号化装置及びそれを用いたテレビ電話端末
US8885710B2 (en) Method and device for encoding/decoding video signals using base layer
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JP3855522B2 (ja) 動画変換装置
WO2009130886A1 (ja) 動画像符号化装置、撮像装置及び動画像符号化方法
KR20150005826A (ko) 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
US20060078053A1 (en) Method for encoding and decoding video signals
JP2008244993A (ja) トランスコーディングのための装置および方法
JP2005252609A (ja) データ処理装置およびその方法と符号化装置
JP2003102013A (ja) 復号装置、符号化装置、及び符号化復号装置
KR20040046320A (ko) 동영상 부호화 방법
US20060072670A1 (en) Method for encoding and decoding video signals
JP2007020123A (ja) 動き検出装置、および動き検出方法
JP2004363875A (ja) 画像信号処理方法および装置
KR20040031870A (ko) 동영상 부호화기 및 이를 이용한 부호화 방법
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
JP2001045493A (ja) 動画像符号化装置、動画像出力装置、及び記憶媒体
JP2004312689A (ja) Mpegビデオ復号化方法及びmpegビデオ復号化器
JP2003087797A (ja) 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体
JP2000197051A (ja) 動画像符号化装置、及び動画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080520