JP3651941B2 - 画像再生装置 - Google Patents
画像再生装置 Download PDFInfo
- Publication number
- JP3651941B2 JP3651941B2 JP29315794A JP29315794A JP3651941B2 JP 3651941 B2 JP3651941 B2 JP 3651941B2 JP 29315794 A JP29315794 A JP 29315794A JP 29315794 A JP29315794 A JP 29315794A JP 3651941 B2 JP3651941 B2 JP 3651941B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- encoded
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【産業上の利用分野】
本願発明は画像再生装置及びその方法にかかわり、特にイントラ符号化とインター符号化とを適応的に用いて符号化された複数チャンネルの画像データを復号化する装置に関するものである。
【0002】
【従来の技術】
最近の高能率動画符号化方式としてMPEG( Motion Picture Image Coding Expert Group) が知られている。
【0003】
この方式に基づく符号化方式は、DCT、適応量子化及び可変長符号化(VLC) を基本とし、フレーム(フィールド)相関が高い等の動画の特長に着目して動き補償付フレーム(又はフィールド)間予測符号化を適応的に組み合わせた符号化方式である。
【0004】
すなわち、この符号化方式においては、図7に示すように動画を構成する各フレームをI(Intra) フレーム、P(Prediction)フレーム、B(Bidirectinal perdiction) フレームに分類し、各フレーム毎に異なる符号化を行うことによって全体として高能率に圧縮し得るようにしたものであり、Iフレームについては該フレーム内で上述のDCT等を用いた符号化を行う。
【0005】
また、Pフレームについては、時間的に先行するIフレームとの間でフレーム(又はフィールド)間動き補償付予測符号化を行い、Bフレームについては先行するIフレーム又はPフレーム及び後行するIフレーム又はPフレームとの間でフレーム(又はフィールド)間動き補償付予測符号化を行う。
【0006】
【発明が解決しようとしている課題】
ところで、上述のようなMPEGで符号化された画像データは各フレーム毎に符号化の方法及びデータ量が異なるため、復号する際の複雑さや消費電力等が各フレーム毎に異なるとともに、復号した際の各画像の画像品位も各フレーム毎に異なる。
【0007】
また、最近のマルチメディア化に伴ない、例えば同一画面内に複数種の画像データを同時に表示するために複数チャンネルの符号化画像データを同時に復号する必要が生ずる場合がある。
【0008】
このため、例えば2チャンネルの画像データを同時に復号して同一の画面に表示しようとした場合には、各チャンネルのI,P,Bの組み合わせによって消費電力等が大幅に変動するとともに、単一画面上の画像品位も局部的に異なってしまうという問題が生ずる。
本願発明は斯かる背景下に於いて、一つの目的として複数チャンネルの画像データを効率良く、前記各画像間で画質差が生じないように再生することができる画像再生装置を提供することである。
【0009】
【課題を解決するための手段】
本願は斯かる目的下にその一つの発明の画像再生装置は、イントラ符号化モードとインター符号化モードとを適応的に用いて符号化された複数チャンネルの画像データを並列に復号化する画像再生装置であって、前記符号化された複数チャンネルの画像データを入力する入力手段と、前記入力手段により入力された複数チャンネルの画像データに対してイントラ符号化モードで符号化されたフレームのスタートコードを検出する検出手段と、前記入力手段により入力された複数チャンネルの画像データを一時バッファに記憶した後、同時に復号化する復号化手段と、前記検出手段により検出された各チャンネルの前記イントラ符号化モードで符号化されたフレームのスタートコードの位相差に基づいて、前記各チャンネルのイントラ符号化された画像データの復号処理が時間的に重ならないように前記各チャンネルの画像データの前記バッファから読み出すタイミングを制御する制御手段とを有することを特徴とする。
【0012】
【実施例】
以下、本発明に係る好適な実施例を各要素毎に図を用いて順次説明する。
【0013】
(システム)
図1は本実施例のシステム全体を示すブロック図である。
【0014】
図1において、101はATM(非同期転送モード)にてJPEGやMPEG等の各種方式にて符号化処理された画像データ等の各種符号化データを転送するATMネットワーク、103はATM以外のモードにてデータを転送するイーサネット等を用いたローカルエリアネットワーク(LAN)、105はATMネットワークに接続され、画像データの圧縮、伸長機能を有するファクシミリ装置、107は内部にぺージメモリを有し、受信した圧縮データから伸長した画像データに基づいた像形成を行うカラープリンタである。
【0015】
109はカラーリーダ、カラープリンタを含むカラー複写機であって、カラーリーダで読み取った原稿の画像データを例えばJPEG方式に基づいて圧縮する圧縮回路、圧縮された画像データが書き込まれるぺージメモリ、ぺージメモリに書き込まれた圧縮画像データを読み出してプリンタに供給するために伸長する伸長回路を含む。
【0016】
111はATMネットワークを介して入力される画像データを一旦蓄えるファイルサーバー、113はこのファイルサーバーにデータを入出力するためのワークステーション、115はATMネットワークと接続されるPC(パソコン)であり、このパソコン115は上述のローカルエリアネットワークとの間でMPEGデータやJPEGデータの授受を行ない、データの符号化・復号化を行うとともに本発明における各種画像データの編集等の各種処理を行う。
【0017】
また、このパソコン115は上記プリンタ107等と上記ネットワーク回線103又は専用線を介して接続されている。
【0018】
117は111と同様のサーバーであって、前記サーバ111と同様の構成である。
【0019】
かかるサーバー117には前述のカラー複写機109と同様のカラー複写機119と接続されている。
【0020】
121はATMネットワークに接続されているデジタルテレビであり、このデジタルテレビはATMネットワークを介して入力されるMPEG或はJPEG方式の符号化データを受信し、これを復号して可視像としてCRTディスプレイ装置に表示する。
【0021】
なお、かかるモニターはFLCとよばれる強誘電体液晶を用いたディスプレイ装置であってもよい。
【0022】
123はATMネットワークを介して入力されたMPEGあるいはJPEG圧縮画像データを受信するVTRである。
【0023】
かかるVTR123はATMネットワーク回線から入力されたMPEGあるいはJPEG圧縮画像データを圧縮された符号化データのまま記録するか又は所定の信号処理を行ってテープに記録する。
【0024】
また、このVTR123は外部から受信した非圧縮データをMPEGあるいはJPEG方式に基づいて圧縮してテープに記録するための画像データ圧縮器を有している。
【0025】
127はATMネットワークにMPEGあるいはJPEG圧縮画像データ方式にて圧縮されたデータを送出するCATV局である。
【0026】
このCATV局127は図示したようにATMネットワーク回線を介して放送用のデータを出力する。
【0027】
129はATMネットワークに他のATMネットワークを接続するためのルータである。
【0028】
131は他のローカルエリアネットワークと接続するためのルータである。
【0029】
また、ファクシミリ装置105とプリンター107とカラー複写機111とATMネットワークとの間には不図示のATMネットワークスイッチが設けられている。
【0030】
(JPEGデータ)
次に、上記ネットワークにて伝送される各種データの内のJPEGデータについて説明する。
【0031】
このJPEGデータは、データの周波数特性や人間の視覚特性を利用してカラー静止画の圧縮を行うことを目的とした国際標準方式であるCCITT/ISOのJPEG方式に基づいて符号化されたデータであり、このデータは符号化データ及び各種マーカコードを図2に示すようなイメージ/フレーム/スキャンの階層構造として構成している。
【0032】
即ち、このJPEGデータはSOI(Start Of Image)コード、フレーム、EOI(End Of Image)コードから構成され、上記フレームは階層符号化されたデータの場合には各階層毎に複数のフレームから成り、階層符号化されていない場合には単一のフレームにて構成される。
【0033】
上記フレームはSOF(Start Of Frame)コード、フレームヘッダ及びスキャンから構成され、上記スキャンはSOS(Start Of Scan) コード、スキャンヘッダ及び符号化データにて構成されている。
【0034】
なお、上記スキャンは、輝度データ(Y)と2つの色差データ(Cr、Cb) とを分けて符号化する場合(ノンインタリーブさせる場合)には複数のスキャンから構成され、各データを分けずに符号化する場合(インタリーブさせる場合)には単一のスキャンにて構成される。
【0035】
次に、上述のようなJPEG方式における基本的なベースライン・システムにおける符号化・復号化のアルゴリズムについて図3及び図4を用いて説明する。
【0036】
まず、入力画像データはブロック化回路201にて8画素×8画素のブロックに分割し、これをDCT回路202にて2次元DCT(離散コサイン変換)することによって1種の直流成分(DC)と63種の交流成分(AC)から成る水平/垂直の空間周波数成分(DCT係数)に変換する。
【0037】
これによって得られた各周波数成分は、量子化器203にて各々所定の係数(量子化係数)にて除されて量子化され、その後直流成分と交流成分とで異なるアルゴリズムによって各々符号化処理される。
【0038】
なお、上記量子化係数は、一般に周波数成分毎に異なる係数が用いられており、視覚上重要な低域成分に対する量子化係数は高域成分に対する量子化係数に比して小さく設定されている。
【0039】
これによって、比較的重要でない高域成分についてはカットされることになり、全体としてデータ量の削減が図られる。
【0040】
上記直流成分については隣接ブロックとの相関が高いことを利用して、差分回路204にて先行するブロックにおける直流成分との差分が求められ、得られた差分値をハフマン符号化器205にて1次元ハフマン符号化して直流成分の符号化データとされる。
【0041】
一方、交流成分については、上述の63種の交流成分をスキャン回路206にて視覚的に重要な低域側の周波数成分から順次ジグザグスキャンして1次元の配列に変換し、判定器207にて各成分の値が「0値」であるか0値以外の値(有効係数)であるか判定される。
【0042】
「0値」については、カウンタ208にて0ランがカウントされ、有効係数についてはグループ化回路209にてその値によってグループ化され、これらによって得られたランレングスとグループ値との組み合わせによりハフマン符号化器210にて2次元ハフマン符号化が行われて交流成分の符号化データとされる。
【0043】
ここで、上述のハフマン符号は、生起確率の高いもの(直流成分については上記差分値、交流成分についてはランレングスと有効係数との組み合わせ)により短い符号長を割り当てることによって全体としてのデータ量を削減する。
【0044】
また、生起確率が低いものについては所定のコード(ZRLコード)と組み合わせることによって有限のコード数にて総てのパターンを表すことができる。
【0045】
JPEGでは以上の処理を各ブロック単位で行って1枚のカラー静止画の符号化を終了する。
【0046】
その後、上記各符号化データには、付加回路211にて前述のマーカコード等が付加されて図3に示したJPEGデータとされる。
【0047】
なお、上述の量子化係数やハフマンコードは任意に設定することができるため、符号化に用いられた量子化係数やハフマンコードを表すデータが上記SOIコードの後に付加される。
【0048】
次に、復号化のアルゴルについて説明する。
【0049】
復号化のアルゴルは基本的に符号化アルゴリズムの逆であり、入力された符号化データはこのデータと共に送られたハフマンテーブルを用いて復号器212にて復号され、直流成分については加算器213にて先行ブロックの直流成分と加算されて元の直流成分とされ、交流成分については復号化された各周波数成分を並変え回路214にて元の2次元配列に変換する。
【0050】
その後、それらの周波数成分を逆量子化器215にて逆量子化した後、逆DCT回路216にて逆DCTを行ってもとの画像データ(復号データ)に変換される。
【0051】
JPEGでは以上の処理を各ブロック単位で行って1枚のカラー静止画の復号化を終了する。
【0052】
なお、以上のアルゴルはJPEG方式の基本的なものであるが、これに更に各種の階層符号化を取り入れたエクステンド・システムがJPEG方式として認められており、この階層符号化を行った場合には上記SOFコードによってその種類を表すようになっている。
【0053】
(MPEGデータ)
次に、上記ネットワークにて伝送される各種データの内のMPEGデータについて説明する。
【0054】
このMPEGデータは、動画像の高能率符号化を行うことを目的とした国際標準であり、基本的には先のJPEG方式と同様にデータの周波数特性や人間の視覚特性を利用するが、更に動画像特有の時間軸方向の冗長度を利用して一層の高能率符号化を行う方式である。
【0055】
このMPEG方式は、デジタルストレージメディア用に転送レートを最大1.5MbpsとしたMPEG1と、伝送レートの上限をなくし双方向デジタルマルチメディア機器、デジタルVTR、ATV、光ファイバネットワーク等の全ての伝送系で用いられることを企図したMPEG2があるが、基本的なアルゴリズムはほぼ同様であるのでMPEG1をベースとしてそのデータ構造及び符号化・復号化のアルゴルを説明する。
【0056】
なお、MPEG2では、使用可能な符号化方法を複数のプロフィール(シンプル・プロフィール、メイン・プロフィール、スケーラブル、空間スケーラブル、ハイ)によって規定しているが、代表的なメイン・プロフィールは基本的に1とほぼ同様である。
【0057】
まず、このMPEGによる高能率符号化方式の原理について説明する。
【0058】
この高能率符号化方式においては、フレーム間の差分を取ることで時間軸方向の冗長度を落とし、これによって得られた差分データをDCT及び可変長符号化処理して空間方向の冗長度を落とすことによって全体として高能率符号化を実現する。
【0059】
上記時間軸方向の冗長度については、動画の場合には連続したフレームの相関が高いことに着目し、符号化しようとするフレームと時間的に先行又は後行するフレームとの差分を取ることによって冗長度を落とすことが可能となる。
【0060】
そこで、MPEGでは、図5に示すように専らフレーム内で符号化する符合化モードで得られるイントラ符号化画像の他に、時間的に先行するフレームとの差分値を符号化する前方予測符号化画像(P−ピクチャ)と、時間的に先行するフレーム又は後行するフレームとの差分値或はそれら両フレームからの補間フレームとの差分値の内最もデータ量が少ないものを符号化する両方向予測符号化画像(B−ピクチャ)とを有し、これらの符合化モードによる各フレームを所定の順序で組み合わせている。
【0061】
MPEGにおいては、上述のI−ピクチャ、P−ピクチャ、B−ピクチャを夫々1枚、4枚、10枚で1単位(GOP)とし、先頭にI−ピクチャを配し、2枚のB−ピクチャとP−ピクチャとを繰り返し配する組み合わせを推奨しており、一定周期でI−ピクチャを置くことによって逆再生等の特殊再生やこのGOPを単位とした部分再生を可能とするとともにエラー伝播の防止を図っている。
【0062】
なお、フレーム中で新たな物体が現れた場合には、時間的に先行するフレームとの差分を取るよりも後行するフレームとの差分を取った方がその差分値が少なくなる場合がある。
【0063】
そこで、MPEGでは上述のような両方向予測符号化を行い、より高能率な圧縮を行っている。
【0064】
また、MPEGでは動き補償を行う。
【0065】
即ち、先の8画素×8画素のブロックを輝度データについて4ブロック、色差データについて2ブロック集めた所定ブロック(マクロブロック)単位で、先行又は後行フレームの対応ブロック近傍のマクロブロックとの差分をとり、一番差が少ないマクロブロックを探索することによって動きベクトルを検出し、この動きベクトルをデータとして符号化する。
【0066】
復号の際には、この動きベクトルを用いて先行又は後行フレームの対応マクロブロックデータを抽出し、これによって動き補償を用いて符号化された符号化データの復号を行なう。
【0067】
上述のような動き補償に際しては、時間的に先行するフレームを一旦符号化した後、再度復号したフレームを得て先行フレームとされ、このフレームにおけるマクロブロックと符号化しようとするフレームのマクロブロックとを用いて動き補償が行なわれる。
【0068】
なお、MPEG1はフレーム間の動き補償を行なうが、MPEG2においてはイールド間の動き補償が行なわれる。
【0069】
上述のような動き補償によって得られた差分データ及び動きベクトルは先に説明したようなDCT変換及びハフマン符号化によって更に高能率符号化される。
【0070】
次に、このMPEG方式のデータ構造について説明する。
【0071】
このデータ構造は、図6に示すようにビデオシーケンス層、GOP層、ピクチャ層、スライス層、マクロブロック層、ブロック層から成る階層構造で構成されている。
【0072】
以下、各層について図中下の層から順に説明する。
【0073】
先ず、ブロック層は先のJPEGと同様に輝度データ及び色差データ毎に8画素×8画素で各々構成され、この単位毎にDCTが行われる。
【0074】
上記マクロブロック層は、上述した8画素×8画素のブロックを輝度データについては4ブロック、色差データについては各1ブロックまとめ、マクロブロックヘッダを付したものであり、MPEG方式ではこのマクロブロックを後述する動き補償及び符号化の単位とする。
【0075】
また、上記マクロブロックヘッダは、各マクロブロック単位の動き補償及び量子化ステップの各データ、及び各マクロブロック内の6つDCTブロック(Y0,Y1,Y2,Y3,Cr,Cb) がデータを有するか否かのデータを含む。
【0076】
上記スライス層は、画像の走査順に連なる1以上のマクロブロック及びスライスヘッダで構成され、同一スライス層内の一連のマクロブロックにおける量子化ステップを一定とすることができる。
【0077】
なお、上記スライスヘッダは各スライス層内の量子化ステップに関するデータを有し、各マクロブロックに固有の量子化ステップデータがない場合にはそのスライス層内の量子化ステップを一定とする。
【0078】
また、先頭のマクロブロックは直流成分の差分値をリセットする。
【0079】
上記ピクチャ層は、上述のスライス層を1フレーム単位で複数集めたものであり、ピクチャースタートコード等からなるヘッダと、これに続く1つまたは複数のスライス層とから構成される。
【0080】
また、上記ヘッダには画像の符号化モードを示すコードや動き検出の精度(画素単位か半画素単位か)を示すコードを含む。
【0081】
上記GOP層は、グループスタートコードやシーケンスの最初からの時間を示すタイムコード等のヘッダと、これに続く複数のIフレーム、Bフレーム又はPフレームから構成される。
【0082】
上記ビデオシーケンス層は、シーケンススタートコードから始まってシーケンスエンドコードで終了し、その間に画像サイズやアスペクト比等の復号に必要な制御データ及び画像サイズ等が同じ複数のGOPが配列される。
【0083】
このようなデータ構造を持つMPEG方式は、その規格にてビットストリームが規定されている。
【0084】
次に、上述のようなMPEGデータを扱う基本的な符号化装置及び復号化装置について図7及び図8を用いて説明する。
【0085】
この符号化装置は、図7に示すようにブロック化回路301、DCT回路302、量子化器303、可変長符号化器(VLC)304、動き補償回路305、動きベクトル検出器306、レート制御回路307、局部復号器308、出力バッファ309等から概略構成されている。
【0086】
また、この符号化装置において符号化の対象とする画像サイズは図9に示すように1920画素×1080画素のHigh(MPEG2におけるハイレベルに対応する)、1440画素×1080画素のHigh1440(MPEG2におけるハイ1440レベルに対応する)、4:2:2又は4:2:0のCCIR.601対応画像(MPEG2におけるメインレベルに対応する)、SIF、CIF、QCIFフォーマットに対応したものがあり、MPEG1及びMPEG2のローレベルでは上記SIFフォーマットの画像サイズを対象としている。
【0087】
この符号化装置において、符号化すべき画像データはブロック化回路301にて上述の8画素×8画素のブロックとされ、スイッチ310を介してDCT回路302に伝送される。
【0088】
上記スイッチ310は、入力画像データがイントラフレーム(Iフレーム)かそれ以外のフレーム(Pフレーム又はBフレーム)であるかで切り換えられるものであり、イントラフレームの場合にはa接点に接続され、それ以外の場合にはb接点に接続される。
【0089】
イントラフレームの場合にはDCT回路302にてDCTされ、これによって得られたDCT係数はは量子化器303にて量子化され、更に可変長符号化器304にて符号化された後、一旦バッファ309に記憶される。
【0090】
一方、イントラフレーム以外の場合には上記スイッチ310は接点bに接続されて先に説明した動き補償が行われる。
【0091】
即ち、311、312は局部復号器308を構成する逆量子化器、逆DCT回路であり、上記量子化器303にて量子化されたデータはこの局部復号器308にて元に戻される。
【0092】
また、313は加算器、314はイントラフレーム以外の場合のみ閉成されるスイッチ、316は減算器であり、上述のように局部復号された画像データは、動きベクトル検出回路306にて検出された動きベクトルを参照して所定のフレーム(先行フレーム、後行フレーム又はこれらの補間フレーム)における対応マクロブロックを出力する。
【0093】
この動き補償回路305の出力は上記減算器316にて入力画像データと減算処理されて差分値が得られ、この差分値は上述のDCT回路302、量子化回路303及び可変長符号化器(ハフマン符号化器)304にて符号化されて上記バッファ309に記憶される。
【0094】
なお、上記ハフマン符号化器は基本的には先に説明したJPEGにおける符号化器と同様であるが、生起確率が低いものについては所定のコード(エスケープコード)を一位的に割り当てる点で異なる。
【0095】
なお、上記動きベクトル検出器306は、これから符号化するフレームデータと、所定の参照フレームデータとの比較を行って動きベクトルを得るものであり、この検出器306の検出力は上記動き補償回路305に供給されて動き補償回路305が出力すべきマクロブロックを指定する。
【0096】
また、上記レート制御回路307は上記バッファにおける符号化データの占有量に基づいて上記量子化器303における量子化ステップを切り換えることによって符号量制御を行う。
【0097】
最後に付加回路315にて先に示したような各種ヘッダを符号化データに付加してMPEG方式に対応したMPEGデータとして送出する。
【0098】
一方、復号装置は、基本的には上述の符号化の逆の動作を行うものであり、図8に示すように入力バッファ401、可変長復号器(VLD)402、逆量子化器(IQ)403、逆DCT回路(IDCT)404、動き補償回路405、出力バッファ406等から構成されている。
【0099】
即ち、上記入力バッファ401から順次読み出される符号化データは上記可変長復号器402、逆量子化器403、逆DCT回路404にて処理されて空間領域のデータに変換される。
【0100】
また、407は上記逆DCT回路404の出力に動き補償回路405からの差分値を加算するための加算器であり、408は上記逆DCT回路404の出力または加算器4070の出力を選択するためのスイッチである。
【0101】
このスイッチ408は、図示しないデータ検出回路に検出された符号化識別符号に基づいてイントラフレームの場合には接点aに接続され、イントラフレーム以外の場合には接点bに接続される。
【0102】
このように復号された復号データは上記出力バッファ406にて一旦記憶され、更に元の空間配置に復元されて1フレームの画像データとして出力される。
【0103】
(ATMフォーマット)
次に、ATM通信フォーマットについて説明する。
【0104】
このATM通信においては、図10に示すように一連のビットストリームを複数の固定長パケットに分割し、各パケットを複数(例えば4つ)のATMセルにて構成する。
【0105】
また、各ATMセルはパケットヘッダとデータ用のペイロードとから構成され、一般的に上記ヘッダは5バイト、データが48バイトとされている。
【0106】
このATM通信は、ネットワークのビットレートとは独立(非同期)でデータ伝送を行うことができ、単位時間当りの伝送セル数によって伝送レートを任意に設定することができるため、種々のデータを混在して伝送する伝送系に適している。
【0107】
(パソコン)
次に、本実施例における画像再生装置である図1に示したパソコンの構成について説明する。
【0108】
図11は本実施例のパソコンの構成を示すものであり、この実施例においては先に説明したMPEGに基づいて圧縮された画像データを複数チャンネル(2チャンネル)同時入力し、これらを合成してモニタやプリンタ等の出力機器に供給する装置である。
【0109】
本実施例における第1チャンネルの第1の画像データはMPEGにて符号化された画像データを上述のような複数のATMセルから成る固定長パケット化して伝送するようなATMネットワークを介して音声データ等と共に伝送されるものであり、この第1の画像データはネットワークインターフェース501に受信される。
【0110】
また、第2チャンネルの第2の画像データは、後述するCD−ROM等を用いたデータ記憶装置509から後述する所定のタイミングで再生される。
【0111】
一方、このパソコンは上述のような各種方式に対応したデータを扱うとともに、種々の機能を有するために伝送されるデータのデータ量及び処理に要する転送速度に応じて最適なデータバスを選択的に用いるマルチバスシステムを備えており、本実施例においては16bitデータバスD1、32bitデータバスD2、64bitデータバスD3、拡張バスとして128bitデータバスD4及びシステムバスSBを備えている。
【0112】
さらに、このパソコンは機能拡張を可能とするために後述する拡張ボードインタフェースを備えており、このインターフェースに接続される各種拡張ボードによって機能の拡張を図り得るようになっている。
【0113】
以下、詳細に説明する。
【0114】
501はネットワークインターフェースであり、このネットワークインターフェース501及びこのインターフェース内のATMコントローラ502を介して上記各伝送チャンネルとの各種データの授受を行う。
【0115】
また、上記ATMコントローラ502は、ATMスイッチとしての機能のみならず上述のATM−LANにおけるふくそう制御等の各種通信制御を行う。
【0116】
図中、503は全体の制御を行うCPUであり、このCPU503はサブCPUとして上記マルチバスシステムを構成するバスコントローラ504及びビット変換器505を備えている。
【0117】
このマルチバスシステムは、処理するデータ容量や処理速度に応じて上述のいずれかのデータバスを適宜使い分けることによって必要とされる処理速度を可能とする。
【0118】
506はROM、507はメモリコントローラであり、このメモリコントローラ507によってハードディスク装置508AやCD−ROM508B等を有する上記外部記憶装置509とデータの授受を行う。
【0119】
510は編集コントローラであり、このコントローラ510によって後述する画像編集時等における複数チャンネルデータ間の位相管理や輝度成分や色成分の調整等を行う。
【0120】
511はディスプレイコントローラであり、このディスプレイコントローラ511から送出される画像データはメモリ512を介してCRTディスプレイ513やFLCディスプレイ514に表示される。
【0121】
また、このディスプレイコントローラ512は表示デバイスの種類に応じて適宜処理を行う。
【0122】
515はプリンタコントローラであり、このプリンタコントローラ515はプリントする画像データに応じて熱転写プリンタ516やBJ方式と熱転写方式等の異なるプリンタ部を有するハイブリッドプリンタ517を使い分ける。
【0123】
なお、上記メモリ512をディスプレイ用とプリンタ用とで共用するようにしてもよい。
【0124】
518はデータの符号化/復号化を行うコーデックであり、本実施例では先に説明したようなJPEG方式及びMPEG方式に対応したコーデックを備えている。
【0125】
519は上記拡張ボードインタフェースであり、このインターフェース519を介して各種の拡張ボード520、521、522を接続することによってパソコンの機能拡張を図るようになっている。
【0126】
523はマウス/キーボードコントローラであり、このコントローラ523を介してキーボード524及びマウス525が接続される。
【0127】
526は音声処理部、527は音声スピーカである。
【0128】
一方、このパソコンはシステムポート528を介して手書き入力機器529、音声マイク530、ビデオカメラ231及びスキャナ532が接続される。
【0129】
このような構成のパソコンは、上述のようなマルチデータバスD1、D2、D3、D4 、バスコントローラ504及びビット変換器505からなるマルチバスシステムを備えているため、データ量や処理に要する転送・処理速度等に応じて最適なデータバスを選択的に使用する。
【0130】
また、上記拡張ボードインターフェース519に接続される拡張ボードによって機能の拡張を行うことができ、例えばコーデックの拡張ボードとして上述の各プロフィールに対応した符号化・復号化を行なうボードを接続することによってそれらの処理を発展的に可能にすることができる。
【0131】
(コーデック)
次に、図11のパソコンにおけるコーデックの構成について説明する。
【0132】
このコーデックは図12に示すように、データバス600、システムバス601に各々接続された各種機能ブロックから構成されており、パソコン本体のシステムバスSB及び各データバスとマイコンインタフェース602及びデータインターフェース603を介してCPU503及び編集コントローラ510等とデータ及びコマンドの授受を行うようになっている。
【0133】
図中604はコーデック全体の動作制御を行うためのCPUであり、このCPU604はRAM605に予め記憶された編集等の各種プログラムに基づいて符号化及び復号化処理を行なわせる。
【0134】
また、606はコード検出器であり、入力符号化データにおけるスタートコード(タイムコード)やI、P、B等のピクチャタイプ、及び各種ヘッダ等の制御コード及び符号化データを検出する。
【0135】
このコード検出器606にて検出された各コードは上記データバス或はシステムバスを介して上記CPU604に伝送されて動作制御させるとともにパラメータメモリ607にてメモリされて適宜所定のブロックに伝送される。
【0136】
また、図中608は動き予測ユニット、609はレート制御ユニット、610は符号化バッファユニット、611は復号化バッファユニットである。
【0137】
上記符号化バッファユニット610を介して伝送される入力画像データ又は上記動き補償ユニット608から伝送される動きベクトルデータ及び差分値(被符号化データ)は、複数のDCT回路と逆DCT回路(IDCT)とからなる変換ユニット612、複数の量子化回路(Q)と逆量子化回路(IQ)とからなる量子化ユニット613及び複数の可変長符号化回路(VLC)と可変長復号化回路(VLD)とからなる可変長符号化ユニット614にて順次処理されて符号化時出力バッファとして機能する上記復号化バッファ611にメモリされ、上記CPU604にて指示される所定のタイミングで上記データバス及びインタフェース603を介して出力される。
【0138】
なお、上記量子化ユニット613及び可変長符号化ユニット614には量子化テーブル613A及びハフマンテーブル614Aを備えており、これらユニットにおける処理を行う上で必要な量子化ステップやハフマンコード等の各種パラメータが上記パラメータメモリ607より適宜これらメモリに転送されるようになっている。
【0139】
一方、上記復号化バッファ611を介して伝送される符号化データ(被復号化データ)は変換ユニット614、量子化ユニット613及び可変長符号化ユニット612にて順次処理されて復号化時出力バッファとして機能する上記符号化バッファ610にメモリされ、上記CPU604にて指示される所定のタイミングで上記データバス及びインタフェース603を介して出力される。
【0140】
なお、上記上記符号化バッファ610は複数画像の編集時に合成用のメモリとしても用いられる。
【0141】
また、上記動き補償ユニット608は、符号化時及び復号化時におけるPフレーム及びBフレームの動き補償をレファレンスバッファ615を用いて行うようになっており、本実施例においてこの動き補償ユニット608はJPEG符号化におけるDC成分の差分値を得るための動作に共用される。
【0142】
さらに、616はバスアービタであり、パイプライン処理等における上記データバスの調停を行う。
【0143】
このようなコーデックは、パソコン本体のCPU503からの指示を受けて上記CPU604にて所定の各ユニットを動作させて符号化又は復号化を行う。
【0144】
また、このコーデックにおいては、同時に複数系統の符号化、復号化を行う場合や、符号化と復号化とを同時に並行処理する場合、或はパソコン本体における通信、ディスプレイ、プリントアウト等の各種処理と符号化・復号化処理を平行して行う場合等、各種の処理態様に応じて最適なシーケンスにて上記各ユニットへのデータ転送制御及び動作制御を行い、このシーケンスに対応した動作プログラムは上記RAM605に予め記憶されている。
【0145】
なお、このRAM605に記憶されたプログラムは適宜更新することができるようになっている。
【0146】
(編集動作)
次に、このようなコーデックシステムにおける編集動作を説明する。
【0147】
即ち、上記画像蓄積手段509の読み出し動作は上記編集コントローラ510にてコントロールされ、コーデック内の上記符号化バッファユニット610及び復号化バッファユニット611は上記CPU604にて各々制御され、これらはキーボード524による操作及び上記コード検出器606から供給される第1の画像データの位相情報に応じて上記各回路のタイミング制御を行う。
【0148】
すなわち、上記CPU604は、上記コード検出器606にて復号された第1の画像データのIフレームのスタートコード及び上記第2の画像データのIフレームのスタートコードを受けて、これらの位相差(時間差)に基づいて上記バッファユニットにおける出力タイミングを制御する。
【0149】
すなわち、各画像データのスタートコードがずれている場合、すなわち図13に示すように第1の画像データがIフレームの際に第2の画像データがP又はBフレームであった場合には、このずれた状態で上記各デコーダにおける復号処理を行わせるとともに上記バッファユニット610における出力タイミングを各画像の位相が揃うように先行する画像データ(この場合には第1の画像データ)のタイミング制御を行う。
【0150】
また、図14に示すように各画像データのスタートコードが一致している場合には、バッファの出力タイミングを制御することによって各画像データの位相をずらし、このずれた状態で復号処理を行わせるとともに出力タイミングを先行する画像データを遅らせて各画像の位相が揃うように再度タイミング制御を行う。
【0151】
さらに、本実施例においては上記コーデック内での位相調整で済む場合には上記CPU604に位相調整を行わせるが、このコーデック内での位相調整では間に合わない場合には上記編集コントローラ510にて記憶手段509からのデータの読み出し動作そのものをコントロールするようになっている。
【0152】
このように、本実施例においては復号処理を行う場合には各チャンネルの画像データの位相をずらしてIフレームどうしが重ならないようにすることによって消費電力の変動を抑えることができる。
【0153】
また、モニタ等に表示を行う場合にはIフレームどうしを揃えるようにすることによって合成された各画像データの画像品位を同等にすることができ、全体として画像品位の高い合成画像を得ることができる。
【0154】
なお、上述の実施例ではMPEGで圧縮された画像データを合成する際の例を説明したが、本発明はこれに限定されるものではなく、MPEGデータとJPEGデータ等の各種方式の符号化データ或はJPEGデータ同士の画像合成にも適用できることは当然である。
【0155】
【発明の効果】
上述の説明から明らかなように、本発明によれば復号処理を行う場合には各チャンネルのイントラ符号化された画像データどうしの復号処理が時間的に重ならないようにしたので、復号処理時における消費電力の変動幅を抑えることができる。
【図面の簡単な説明】
【図1】本発明の実施例のシステムを示す図である。
【図2】JPEGのデータ構造を示す図である。
【図3】JPEGのコーダを示す図である。
【図4】JPEGのデコーダの構成を示す図である。
【図5】MPEGの画像構造を示す図である。
【図6】MPEGのデータ構造を示す図である。
【図7】MPEGのコーダを示す図である。
【図8】MPEGのデコーダを示す図である。
【図9】符号化の対象とする画像サイズを示す図である。
【図10】通信フォーマットを示す図である。
【図11】パソコンの構成を示す図である。
【図12】図12におけるパソコンのコーデックの構成を示す図である。
【図13】本発明のタイミング制御状態を示すタイムチャートである。
【図14】本発明の他のタイミング制御状態を示すタイムチャートである。
Claims (1)
- イントラ符号化モードとインター符号化モードとを適応的に用いて符号化された複数チャンネルの画像データを並列に復号化する画像再生装置であって、
前記符号化された複数チャンネルの画像データを入力する入力手段と、
前記入力手段により入力された複数チャンネルの画像データに対してイントラ符号化モードで符号化されたフレームのスタートコードを検出する検出手段と、
前記入力手段により入力された複数チャンネルの画像データを一時バッファに記憶した後、同時に復号化する復号化手段と、
前記検出手段により検出された各チャンネルの前記イントラ符号化モードで符号化されたフレームのスタートコードの位相差に基づいて、前記各チャンネルのイントラ符号化された画像データの復号処理が時間的に重ならないように前記各チャンネルの画像データの前記バッファから読み出すタイミングを制御する制御手段とを有することを特徴とする画像再生装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29315794A JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
US08/561,697 US5761343A (en) | 1994-11-28 | 1995-11-22 | Image reproduction apparatus and image reproduction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29315794A JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08154249A JPH08154249A (ja) | 1996-06-11 |
JP3651941B2 true JP3651941B2 (ja) | 2005-05-25 |
Family
ID=17791163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29315794A Expired - Fee Related JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5761343A (ja) |
JP (1) | JP3651941B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6229927B1 (en) * | 1994-09-21 | 2001-05-08 | Ricoh Company, Ltd. | Reversible embedded wavelet system implementation |
US6549666B1 (en) * | 1994-09-21 | 2003-04-15 | Ricoh Company, Ltd | Reversible embedded wavelet system implementation |
GB2309362B (en) * | 1996-01-20 | 2000-07-05 | Northern Telecom Ltd | Telecommunications system |
US6141447A (en) * | 1996-11-21 | 2000-10-31 | C-Cube Microsystems, Inc. | Compressed video transcoder |
US6160918A (en) * | 1997-10-02 | 2000-12-12 | At&T Corp. | Method and apparatus for fast image compression |
JP2002518916A (ja) * | 1998-06-19 | 2002-06-25 | イクエーター テクノロジーズ インコーポレイテッド | 第1の解像度を有する符号化された形式の画像を第2の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法 |
JP3613983B2 (ja) * | 1998-06-25 | 2005-01-26 | ソニー株式会社 | 画像生成装置及び方法、並びに電子スチルカメラ |
JP3322233B2 (ja) * | 1999-03-19 | 2002-09-09 | 日本電気株式会社 | 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体 |
US6724819B1 (en) * | 1999-04-02 | 2004-04-20 | Matsushitas Electric Industrial Co., Ltd. | Moving picture transmission apparatus, moving picture reception apparatus, and moving picture data record medium |
US6839322B1 (en) * | 2000-02-09 | 2005-01-04 | Nortel Networks Limited | Method and system for optical routing of variable-length packet data |
JP4081758B2 (ja) * | 2003-05-08 | 2008-04-30 | ソニー株式会社 | 処理ビットモデルブロック、処理ビットモデル化方法、符号化装置、シンボルモデルブロック、シンボルモデル化方法、復号化装置、及び画像処理装置 |
GB2406014B (en) * | 2003-09-10 | 2007-01-31 | Thales Uk Plc | Video system |
EP2713619A3 (en) * | 2003-11-18 | 2015-01-07 | Mobile Imaging in Sweden AB | Method for processing a digital image and image representation format |
JP2009044537A (ja) * | 2007-08-09 | 2009-02-26 | Osaka Univ | 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体 |
US8111704B2 (en) | 2009-06-26 | 2012-02-07 | Intel Corporation | Multiple compression techniques for packetized information |
JP5047344B2 (ja) * | 2009-12-28 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
TWI723430B (zh) | 2018-06-19 | 2021-04-01 | 大陸商北京字節跳動網絡技術有限公司 | 不同精度的多個候選 |
CN116546213A (zh) | 2018-09-19 | 2023-08-04 | 北京字节跳动网络技术有限公司 | 具有自适应运动矢量分辨率的仿射模式的语法重用 |
KR20210121021A (ko) * | 2019-01-31 | 2021-10-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4095226A (en) * | 1970-05-01 | 1978-06-13 | Harris Corporation | System for communication |
JPS587109B2 (ja) * | 1974-09-09 | 1983-02-08 | ケイディディ株式会社 | フアクシミリシンゴウ ノ ジヨウホウヘンカガソアドレスフゴウカホウシキ |
SE406407B (sv) * | 1975-11-25 | 1979-02-05 | Hell Rudolf Dr Ing Gmbh | Forfarande for digital loplengdkodning med redundansreduktion for overforande av binert kodade bildinformationer |
US4409623A (en) * | 1981-01-31 | 1983-10-11 | Nippon Telegraph & Telephone Public Corporation | Method and equipment for processing gray scale facsimile signal |
JPH0824380B2 (ja) * | 1982-08-04 | 1996-03-06 | ヨ−ゼフ・デイル | カラーテレビジョン信号を符号化して伝送する方法 |
US5321750A (en) * | 1989-02-07 | 1994-06-14 | Market Data Corporation | Restricted information distribution system apparatus and methods |
US5576835A (en) * | 1992-02-24 | 1996-11-19 | Dirr; Josef | Method for run-length coding for shortening transmission time |
DE69313925T2 (de) * | 1992-05-19 | 1998-01-29 | Canon Kk | Verfahren und Einrichtung zur Steuerung einer Anzeige |
JP3307467B2 (ja) * | 1993-04-09 | 2002-07-24 | 三菱電機株式会社 | ラベリング方式およびラベリング回路 |
JP3171993B2 (ja) * | 1993-05-24 | 2001-06-04 | キヤノン株式会社 | 画像処理方法及び装置 |
JP2831933B2 (ja) * | 1993-09-02 | 1998-12-02 | 日本電信電話株式会社 | ビデオライブラリシステム |
KR100366141B1 (ko) * | 1994-01-31 | 2003-03-03 | 소니 가부시끼 가이샤 | 화상대조방법및장치 |
US5477527A (en) * | 1994-02-02 | 1995-12-19 | Sanyo Electric Co., Ltd. | High density optical disc and optical disc player |
KR970010489B1 (ko) * | 1994-07-30 | 1997-06-26 | 대우전자 주식회사 | 디지탈 비디오데이터의 정지화면제어장치 |
-
1994
- 1994-11-28 JP JP29315794A patent/JP3651941B2/ja not_active Expired - Fee Related
-
1995
- 1995-11-22 US US08/561,697 patent/US5761343A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH08154249A (ja) | 1996-06-11 |
US5761343A (en) | 1998-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3651941B2 (ja) | 画像再生装置 | |
JP3662171B2 (ja) | 符号化装置及び符号化方法 | |
US5761438A (en) | Apparatus for measuring the amount of traffic of a network at a predetermined timing and compressing data in the packet without changing the size of the packet | |
US6134663A (en) | Management system and terminal apparatus to manage and control distribution and use of software and the like | |
JP3555729B2 (ja) | 可変長符号化データの処理方法及び装置 | |
EP0928111A2 (en) | Video and audio digital recording and playback apparatus and method therefor | |
JPH11234668A (ja) | 映像符号化装置 | |
JPH0818979A (ja) | 画像処理装置 | |
JP3332580B2 (ja) | 画像再生装置及び画像再生方式 | |
JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
JPH1042295A (ja) | 映像信号符号化方法および映像信号符号化装置 | |
US6205287B1 (en) | Image forming apparatus and system for changing a parameter value of a plurality of images by a predetermined amount | |
JP3312417B2 (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
JP2003189308A (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JPH07131793A (ja) | 映像信号高能率符号化装置 | |
JP2002344973A (ja) | 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置 | |
JP3141149B2 (ja) | 画像符号化装置 | |
JP3489581B2 (ja) | 画像符号化装置及び符号化方法 | |
JP3721972B2 (ja) | Mpeg画像データ記録方法 | |
JPH08214314A (ja) | 画像伝送装置 | |
JPH0984011A (ja) | 動画符号化方式変換装置 | |
JP3416505B2 (ja) | 動画像復号化方法 | |
JPH06334995A (ja) | 動画像符号化又は復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050222 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |