JP4699685B2 - 信号処理装置及びそれを用いた電子機器 - Google Patents

信号処理装置及びそれを用いた電子機器 Download PDF

Info

Publication number
JP4699685B2
JP4699685B2 JP2003297227A JP2003297227A JP4699685B2 JP 4699685 B2 JP4699685 B2 JP 4699685B2 JP 2003297227 A JP2003297227 A JP 2003297227A JP 2003297227 A JP2003297227 A JP 2003297227A JP 4699685 B2 JP4699685 B2 JP 4699685B2
Authority
JP
Japan
Prior art keywords
data
parallel processor
instruction
dedicated hardware
bus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003297227A
Other languages
English (en)
Other versions
JP2005070938A (ja
Inventor
知典 片岡
英志 西田
浩三 木村
信生 檜垣
督三 清原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003297227A priority Critical patent/JP4699685B2/ja
Priority to EP20110178690 priority patent/EP2395756A2/en
Priority to EP20040019387 priority patent/EP1509044A3/en
Priority to US10/919,238 priority patent/US20050062746A1/en
Priority to KR1020040065256A priority patent/KR20050021233A/ko
Priority to CNB2004100641420A priority patent/CN100401783C/zh
Publication of JP2005070938A publication Critical patent/JP2005070938A/ja
Priority to US12/179,873 priority patent/US10230991B2/en
Priority to KR1020110031428A priority patent/KR101213326B1/ko
Application granted granted Critical
Publication of JP4699685B2 publication Critical patent/JP4699685B2/ja
Priority to US16/257,317 priority patent/US11563985B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、オーディオ及び画像の圧縮伸張処理を、並列プロセッサと専用ハードウェアを用いて高速に行う、信号処理装置及びそれを用いた電子機器に関するものである。
近年の動画像を扱う画像処理装置及び画像表示装置の高性能化、小型化の動きに呼応して、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ）とＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）は、共同で次世代の圧縮伸張技術として、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を規格化策定中である。ＭＰＥＧ−４ ＡＶＣは、４×４画素の整数変換、最大９方向のイントラ予測、７種類のサブマクロブロックタイプ、マクロブロックあたり最大１６本の動きベクトル、マルチフレーム参照、ループ内のデブロックフィルタ、算術符号などの新しい技術を導入することによって、画像の高圧縮率を実現し、既に実用化されているＭＰＥＧ−２方式の５０％に圧縮された符号量を目指している。
しかし、新たに導入された符号化ツールは、符号化効率を重視したアルゴリズムを採用しているために、その処理量が多く、組み込みシステムへの実装が困難になっている。
これまでの符号化方式の圧縮伸張を行う信号処理装置には、プロセッサによる並列処理と専用ハードウェアによる構成とが用いられてきた。
プロセッサによる並列処理手法を使った高速化信号処理の例として、特許文献１がある。この特許文献１に示される例は、制御の流れが１つで、処理されるデータの流れが複数である、ＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置と、制御の流れもデータの流れも複数である、ＭＩＭＤ（Ｍｕｌｔｉｐｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置とを組み合わせた、並列処理装置である。
図１６は、特許文献１の図１から引用した、従来のＳＩＭＤ型並列データ処理装置９０２とＭＩＭＤ型並列データ処理装置９０３とを組み合わせた信号処理装置のブロック図である。
この信号処理装置は、装置全体を制御するシステム制御部９０１、ＳＩＭＤ型並列データ処理装置９０２、ＭＩＭＤ型並列データ処理装置９０３、共有メモリバス９０４、及び共有メモリ９０５を備える。
システム制御部９０１は、アプリケーションプログラムの実行制御を行う。
ＳＩＭＤ型並列データ処理装置９０２は、全体制御部９１０と、演算器９１１〜９１４とそれぞれのローカルメモリ９１５〜９１８とを有している。一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。全体制御部９１０は、プログラムを実行し、演算器９１１〜９１４のすべてに同一の命令を発行する。演算器９１１〜９１４は、発行された同一の命令の下で、各々のローカルメモリ９１５〜９１８に格納されているデータを処理する。
ＭＩＭＤ型並列データ処理装置９０３は、全体制御部９２０と、制御部９２１〜９２４と、演算器９２５〜９２８と、ローカルメモリ９２９〜９３２とを有している。一つの制御部と一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。制御部９２１〜９２４の各々において別々のプログラムが実行され、演算器９２５〜９２８の各々に別々の命令が発効され、ローカルメモリ９２９〜９３２の各々に格納されているデータを処理する。全体制御部９２０は、ＭＩＭＤ型並列データ処理装置９０３の全体の同期や監視のための制御を行う。
以上のような並列データ処理装置においては、対象となる処理が単純で、かつ、データ処理が大量なものをＳＩＭＤ型並列データ処理装置９０２で処理し、対象となる処理が複雑で、かつ、データ処理が少量なものをＭＩＭＤ型並列データ処理装置９０３で処理していた。
一方、対象となる処理に対して最適な演算器を専用ハードウェアで構成することによって、演算性能を改善した高速化手法も用いられている。その例として、特許文献２は、画像処理の可変長符号／復号処理を専用ハードウェア化することにより、処理の高速化を実現した技術を開示している。
図１７は、特許文献２の図１から引用した、従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置１００１のブロック図である。
この画像処理装置１００１は、外部のビデオデータバス１００８を介して、外部のビデオ入力装置１００９と、ビデオ出力装置１０１０と、外部メモリ１０１１とに接続されている。画像処理装置１００１は、命令メモリ１００２、プロセッサ１００３、ＳＩＭＤ型演算手段１００４、ＶＬＣ（可変長符号化）処理手段１００５、外部データインターフェース１００６、及び、内部データバス１００７を備える。ＶＬＣ処理手段１００５は、専用ハードウェアにより構成されている。
プロセッサ１００３は、スカラー演算やビット操作演算、比較分岐命令を行うと共に、命令メモリ１００２に保持されている命令をデコードし、ＳＩＭＤ型演算手段１００４と、ＶＬＣ処理手段１００５と、外部データインターフェース１００６と、ビデオ入力装置１００９と、ビデオ出力装置１０１０とを制御する。
ビデオ入力装置１００９は、外部からのビデオ信号を入力し、ビデオ出力装置１０１０は外部にビデオデータを出力する。
ビデオ入力装置１００９から入力された画像データは、外部メモリ１０１１に転送され、次のステップで、ＳＩＭＤ演算手段１００４で行う処理に応じて、外部データインターフェース１００６に転送される。ＳＩＭＤ演算手段１００４では、動き補償、ＤＣＴ、量子化の各処理が行われ、変換係数データを得る。次のステップで、ＶＬＣ変換手段１００５において、変換係数データは、可変長符号化され、ビットストリームデータが生成される。
ＳＩＭＤ演算手段１００４は、８並列のパイプライン演算器で構成されているため、ＤＣＴなどの定型処理を効率よく処理することができる。
上述した特許文献１に代表される、ＳＩＭＤ型データ並列処理装置とＭＩＭＤ型並列データ処理装置を組み合わせた信号処理装置は、様々な符号化アルゴリズムに対する柔軟性を持っている。したがって、並列度を増すことによって、画像処理に十分対応できていた。これは、従来の動き検出処理が、最大１６×１６ペルで最小８×８ペルのマクロブロックサイズに対するものであったことによる。
しかし、ＭＰＥＧ−４ ＡＶＣでは、最小のサブマクロブロックサイズが４×４ペルになっているため、従来の信号処理装置では、１６並列以上の演算器を用意しても、演算器の処理効率が向上しない。
また、ＭＰＥＧ−４ ＡＶＣの算術符号化／復号処理では、周辺のマクロブロックのコンテキストによって発生確率を変更しながら処理するために、１ビットづつ符号化しなければならず、並列処理ができない。つまり、従来の信号処理装置では、ＭＩＭＤ型並列データ処理装置の並列度を増加させても、ＭＰＥＧ−４ ＡＶＣでの処理性能は改善されない。
ＭＰＥＧ−４ ＡＶＣのデブロックフィルタにおいても、４×４ペルのサブマクロブロック単位でフィルタパラメータを計算し、その結果に基づいてフィルタ処理を行う。ＳＩＭＤ型演算装置を使えば、フィルタ処理を並列処理することが可能であるが、判定処理の際に演算器を有効に活用できない。
また、上述した特許文献２に代表される、ＳＩＭＤ型データ並列処理装置と専用ハードウェアとを組み合わせた信号処理装置では、高い処理性能を要求する算術符号化／復号処理に対しては、専用ハードウェアを採用することによって処理性能が改善されるが、最も処理量の多い動き検出をＳＩＭＤ型並列データ処理装置で処理するには、以下の問題がある。
ＭＰＥＧ−４ ＡＶＣでは、１／４画素精度の動き補償が導入され、ハーフペルの画素生成に６タップフィルタ処理を行わなければならない。更に、４×４ペルのサブマクロブロックブロックサイズが導入されたために、１マクロブロックあたり最大１６本の動きベクトルの設定が可能である。小さなサブマクロブロックサイズで、１／４画素精度の探索を行い、マクロブロック当たり最大１６本の動きベクトルを計算する動き検出の処理は、その処理量が飛躍的に増加している。
このような動き検出処理をＳＩＭＤ型データ並列処理装置で処理させようとすると、演算器の並列度を高め、動作周波数を高く設定しなければならない。そのような能力を持ったＳＩＭＤ型並列データ装置は、デコード処理においては、その能力に余剰が発生してしまい、装置全体を効率的に利用できない。
さらに、ＳＩＭＤ型並列データ処理装置の並列度を高めて処理性能を改善しようとしても、ブロックサイズが４×４ペルであるために、１６並列以上にはできない。
特願平３−５０８２６９号公報 特願２０００−１１８４３４号公報
そこで本発明は、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供することを目的とする。
請求項１記載の信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、第１命令バスと、第１データバスと、第１共有メモリと、入出力インターフェースと、を備えた信号処理装置であって、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、第１命令バスには、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとが接続され、第１命令バスを介して、命令並列プロセッサが、データ並列プロセッサ、及び、複数の専用ハードウェアを制御するための命令が通信され、第１データバスには、命令並列プロセッサのローカルメモリと、データ並列プロセッサのそれぞれのローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリの少なくとも１つが接続されると共にこれらのメモリの間でのデータ転送が行われ、命令並列プロセッサは、符号化モードの判定を行い、データ並列プロセッサは、予測画像の生成を行い、専用ハードウェアは、可変長符号化を行う。
この構成によれば、命令並列のプロセッサとデータ並列のプロセッサと専用ハードウェアとからなる構成で信号処理装置を形成し、命令並列プロセッサで、音声・オーディオの圧縮伸張処理と画像処理のうち非定型処理を行い、データ並列プロセッサで画像処理のうち定型処理を行い、専用ハードウェアで動き検出、可変長符合化、デブロックフィルタ処理などの処理を行うことが出来る。したがって、処理量の多い画像圧縮伸張アルゴリズムの信号処理に対して、ソフトウェアとハードウェアで負荷が分散され、高い処理能力と柔軟性を持った信号処理装置を実現することが出来る。さらに、命令バスとデータバスを分離することによって、バスのトラフィックを分散し、処理性能を向上させることが出来る。
請求項１０記載の信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、第１命令バスと、第１データバスと、第１共有メモリと、入出力インターフェースと、第２データバスと、第２共有メモリと、第１データバスと第２データバスとを接続するブリッジユニットと、を備えた信号処理装置であって、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、第１命令バスには、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとが接続され、第１命令バスを介して、命令並列プロセッサが、データ並列プロセッサ、及び、複数の専用ハードウェアを制御するための命令が通信され、第１データバスには、データ並列プロセッサのそれぞれのローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、第２データバスには、命令並列プロセッサのローカルメモリと、第２共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、ブリッジユニットを介して、第１データバスに接続された各メモリと、第２データバスに接続された各メモリとの間のデータ転送が行われ、命令並列プロセッサは、符号化モードの判定を行い、データ並列プロセッサは、予測画像の生成を行い、専用ハードウェアは、可変長符号化を行う。
この構成によれば、データ処理プロセッサのローカルメモリと、専用ハードウェアの専用メモリと、共有メモリとを第１データバスで接続し、命令並列プロセッサのローカルメモリと共有メモリとを第２データバスで接続する。これにより、大容量のデータを扱う画像処理のデータ転送が第１データバス中心に行われ、オーディオ処理を行う命令並列プロセッサが接続される第２データバスとの負荷分散が実現出来る。
本発明によれば、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供すること出来る。
次に、図面を参照しながら、本発明の実施の形態を説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における信号処理装置のブロック図である。本形態の信号処理装置は、ローカルメモリ１１０を有する命令並列プロセッサ１００、ローカルメモリ１１１を有する第１データ並列プロセッサ１０１、ローカルメモリ１１２を有する第２データ並列プロセッサ１０２、ローカルメモリ１１３を有する動き検出ユニット１０３、ローカルメモリ１１４を有するデブロックフィルタ処理ユニット１０４、ローカルメモリ１１５を有する可変長符号化／復号処理ユニット１０５、ローカルメモリ１１６を有する入出力インターフェース１０６、第１共有メモリ１２１、第１命令バス１３０、及び、第１データバス１３２を備え、第１命令バス１３０には、各プロセッサ１００〜１０２と各ユニット１１２〜１１６とが接続され、第１データバス１３２には、ローカルメモリ１１０〜１１６と、第１共有メモリ１２１と、入出力インターフェース１０６とが接続されている。可変長符号化／復号処理ユニット１０５は、さらに、外部装置に対してビットストリーム入出力１３５を有しており、入出力インターフェース１０６は、外部装置に対してオーディオ入出力１３６とビデオ入出力１３７を有している。
第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とに採用されているＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、１個の命令で８個のデータ流を並列に処理することが出来る。
動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５と、入出力インターフェース１０６とは、それぞれ専用のハードウェアである。
次に、本形態の動作の概略を、画像の符号化処理を例として、説明する。
外部から入力されたビデオ信号は、Ａ／Ｄ変換された後、入出力インターフェース１０６より、第１データバス１３２を経由して、第１共有メモリ１２１に格納される。
動き検出ユニット１０３は、第１共有メモリ１２１に格納されている前フレームの画像データと、現フレームの画像データを基に、動きベクトルを算出する。
第１データ並列プロセッサ１０１は、第１共有メモリ１２１に格納されている前フレームの画像データと、動き検出ユニット１０３が算出した動きベクトルを基に、動き補償処理を行って、予測画像データを算出する。また、この予測画像データに対する現フレームの画像データの差分画像データを算出する。
第２データ並列プロセッサ１０２は、差分画像データをＤＣＴ変換処理し、さらに、得られたＤＣＴ係数を量子化処理する。また、第２データ並列プロセッサ１０２は、量子化ＤＣＴ係数を逆量子化し、さらに、逆ＤＣＴ変換処理して、差分画像データを算出し、第１データ並列プロセッサ１０１が処理した予測画像データとから、再構築画像データを算出する。
本形態の信号処理装置では、第１データ並列プロセッサ１０１が、動き補償処理の画素値計算を行っている間に、第２データ並列プロセッサ１０２が、ＤＣＴ変換処理を行う。このように、２つのデータ並列プロセッサの稼働率を維持して、それぞれに別々の処理をさせることができ、演算性能の改善を図っている。
デブロックフィルタ処理ユニット１０４は、再構築画像データに対して、デブロックフィルタ処理をして、ブロックノイズを除去し、第１共有メモリ１２１に格納する。
可変長符号化／復号処理ユニット１０５は、量子化ＤＣＴ係数と動きベクトルとを、算術符号を用いた可変長符号化処理し、ビットストリームとして出力する。
命令並列プロセッサ１００は、上述した各種の処理の全体的な制御を、第１命令バス１３０を介して行う。また、命令並列プロセッサ１００は、予測画像の生成を、イントラ予測符号化で行うか、あるいは、インター予測符号化で行うかの符号化モードの判定を行う。
各プロセッサと各ユニットと間のデータ転送は、第１データバス１３２を介して行われる。
このように、画像圧縮・伸長処理のうち逐次的な処理を命令並列プロセッサ１００が行い、画像圧縮・伸長処理のうち定型的な処理を第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とが行い、さらに、動き検出処理、デブロックフィルタ処理、及び、可変長符号化処理といった重い処理を専用ハードウェアで行うことにより、高効率な画像処理を実現出来る。
本形態における、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２との処理対象の分担区分は、一例であって、その他の区分でも良い。あるいは、プロセッサの性能によっては、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２の処理を一つのデータ並列プロセッサで行っても良い。
さらに、第１データ並列プロセッサ１０１が行っている動き補償処理は、動き検出ユニット１０３が行っても良い。
（第２の実施の形態）
図２は、本発明の第２の実施の形態における信号処理装置のブロック図である。図２において、図１と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
本形態の信号処理装置は、第１の実施の形態の信号処理装置に比べ、制御プロセッサ１０７、第２共有メモリ１２２、第２命令バス１３１、第２データバス１３３、及び、第１データバス１３２と第２データバス１３３とを接続するブリッジユニット１２０とを、さらに備える。
第１命令バス１３０には、命令並列プロセッサ１００と、制御プロセッサ１０７と、可変長符号化／復号処理ユニット１０５とが接続されている。第２命令バスには、制御プロセッサ１０７、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とが接続されている。
第１データバスには、ローカルメモリ１１１〜１１５、第１共有メモリ１２１、入出力インターフェース１０６、及び、ブリッジユニット１２０とが接続されている。第２データバスには、ローカルメモリ１１０と第２共有メモリ１２２とブリッジユニット１２０とが接続されている。
本形態の信号処理装置は、第１の実施の形態に比べ、データの並列処理をさらに強固にしたものである。すなわち、本形態において導入された制御プロセッサ１０７は、命令並列プロセッサ１００からの命令を受けて、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とを、第２命令バス１３１を介して制御する。その結果、本形態の信号処理装置は、各データ並列プロセッサ及び専用ハードウェアでの並列処理がより迅速に行えるように構成されている。
さらに、本形態の第２共有メモリ１２２は、命令並列プロセッサ１００に関係するデータと、第１データバス１３２に接続されている各構成要素が扱うデータのうち、比較的アクセス頻度が低いデータとを格納する。この構成により、第１共有メモリ１２１の負荷が軽減され、信号処理装置全体の処理効率が改善される。
本形態の動作は、以下に述べる第３の実施の形態において、詳述する。
（第３の実施の形態）
図３は、本発明の第３の実施の形態におけるビデオエンコーダのブロック図である。
本形態のビデオエンコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るエンコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオエンコーダの各機能を的確に表現した名前が付されている。
図３に示した本形態のビデオエンコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図３の構成要素と、図２の構成要素との対応関係を示す。
符号化制御部３０１とモード切替部３０３の処理は、図２の命令並列プロセッサ１００が行う。
動き補償部３１２と差分検出部３０２の処理は、図２の第１データ並列プロセッサ１０１が行う。
４×４ＤＣＴ変換部３０４、量子化部３０５、逆量子化部３０６、逆４×４ＤＣＴ変換部３０７、及び、再構築部３０９の処理は、図２の第２データ並列プロセッサ１０２が行う。
可変長符号化部３０８は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３１０は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３１１は、図２の第１共有メモリ１２１に相当し、動き検出部３１３は、図２の動き検出ユニット１０３に相当する。
次に、ＭＰＥＧ−４ ＡＶＣの主要な信号処理を、本形態の各部の動作を参照して、説明する。
まず、図３を参照して、エンコード処理を説明する。ビデオ入力３１４は、イントラ符号化の場合、４×４ＤＣＴ変換部３０４において離散コサイン変換（直交変換）されＤＣＴ係数が求められる。次に、量子化部３０５においてＤＣＴ係数が量子化される。
ＭＰＥＧ−２やＨ．２６３などの既存の符号化規格では、８×８ブロックサイズに対して、実数精度のＤＣＴが採用されており、ＤＣＴ精度を規定しなければミスマッチが発生した。しかし、ＭＰＥＧ−４ ＡＶＣでは、４×４ブロックサイズに対して、整数精度のＤＣＴ変換が適用されており、この結果、ＤＣＴ精度に起因するミスマッチが発生しなくなった。
量子化されたＤＣＴ係数は、可変長符号部３０８において、算術符号化器を使ってエントロピー符号化される。その詳細は、後述する。
次に、可変長符号化／復号処理について説明する。
ＭＰＥＧ−４ ＡＶＣの概要は、非特許文献１「ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４の概要と標準化動向」（鈴木輝明；情報処理学会、オーディオビジュアル複合情報処理３８―１３、６９〜７３頁、２００２年１１月）で説明されている。以下では、非特許文献１に基づいて説明する。
マクロブロックの個数、動きベクトルの差分、変換係数などのシンタックス要素の可変長符号化では、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ；コンテキスト適応可変長符号化）と、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応２進算術符号化）という２種類のエントロピー符号化方式が使い分けられる。
ここでは、メインプロファイルで用いられるＣＡＢＡＣという算術符号化方式について説明する。算術符号は、長さ「１」の線分を、符号化しようとするシンボルの出現確率に従って分割し、その分割された線分と符号化しようとするシンボルとが１対１に対応することから、その線分について符号化するものである。その線分を代表する２進数が符号となるため、線分の区間が広い、すなわち符号化しようとするシンボルの出現確率が高いほど、そのシンボルは短い２進数で表現でき、その結果圧縮率が高くなる。そこで、対象ブロックの符号化を行う場合に、周辺ブロックのコンテキストに応じて出現確率を操作して、圧縮率が高くなるように制御される。
図４は、ＣＡＢＡＣ算術符号化処理ユニットのブロック図である。これは、非特許文献１の図７から引用したものである。図４に示すＣＡＢＡＣ算術符号化処理ユニットは、コンテキストモデリング部４０１と、バイナリ化部４０２と、適応２進算術符号化処理部４０５とを備え、適応２進算術符号化処理部４０５は、出現確立予測部４０３、及び、符号化部４０４とを有する。
コンテキスト・モデリングは、各シンボルを符号化する際の確率モデルである。各シンタックス要素には、コンテキストが定義されており、このコンテキストに応じて確率テーブルを切り替えて算術符号を行う。
図５は、符号化対象ブロックと隣接ブロックの配置図である。図５において、符号化対象ブロックＣ４０８を符号化する際、隣接ブロックＡ４０６と隣接ブロックＢ４０７の状態に応じて、符号化対象ブロックＣ４０８のコンテキストが決定される。
以上のような算術符号処理において、可変長符号化された符号のデコード処理は、出現確率情報をデコーダで解釈し、その情報に基づいて再構成するという逐次処理である。また、出現確率の操作は、テーブルによって行われることから、これらの符号化処理と復号処理を、ＶＬＩＷ（極長命令語）対応の命令並列プロセッサ（上述した第２の実施の形態では、図２に示す命令並列プロセッサ１００に相当）や、ＳＩＭＤ型のデータ並列プロセッサ（同じく、第１データ並列プロセッサ１０１、あるいは、第２データ並列プロセッサ１０２に相当）で行ったのでは、処理性能は、改善されない。むしろ、これらの処理は、専用ハードウェア（同じく、可変長符号化／復号処理ユニット１０５に相当）を用いて処理することによって、命令並列プロセッサとデータ並列プロセッサの負荷分散ができ、その結果、動作周波数が低減され、処理装置の周波数バランスを良好にすることが出来る。これが、本実施の形態において、図３に示す可変長符号化部３０８を、図２に示す専用ハードウェアである可変長符号化／復号処理ユニット１０５によって、処理している理由である。
図３において、量子化部３０５によって量子化されたＤＣＴ係数は、逆量子化部３０６において逆量子化された後、逆４×４ＤＣＴ変換部３０７において、逆ＤＣＴ変換され、再構築部３０９において、画像が再構築される。再構築された画像は、デブロックフィルタ３１０によって、デブロックフィルタ処理が施され、４×４画素境界で画素値が書き換えられる。デブロックフィルタ処理については、後述する。
次に、図３の動き補償部３１２において行う１／４画素精度の動き補償処理について、図６を参照して、説明する。図６は、１／４画素精度の動き補償を説明する図である。
動き補償とは、参照する画像から予測画像を構成する場合に、動きベクトルの情報を用いて、符号化しようとする画像により近い予測画像を構成しようとするものである。予測誤差が少ないほど、符号量が小さくなるため、ＭＰＥＧ−４ ＡＶＣでは１／４画素精度の動き補償が採用されている。動きベクトルは、ブロック単位での平行移動を表す２つのパラメータ（水平方向の移動距離と垂直方向の移動距離）から構成される。
動きベクトルが指し示した参照画像の予測画像は、下記の方法によって求められる。
図６において、画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｐ、Ｑ、Ｒ、Ｓ、Ｔ、Ｕは、それぞれ整数位置の画素であり、画素ａａ、ｂｂ、ｃｃ、ｄｄ、ｅｅ、ｆｆ、ｇｇ、ｈｈ、及び、画素ｂ、ｈ、ｊ、ｍ、ｓは、それぞれ１／２精度の画素であり、画素ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｋ、ｎ、ｐ、ｑ、ｒは、それぞれ１／４精度の画素である。
これらの画素の画素値を求める手順について説明する。まず、１／２精度の画素ｂは、以下のように求められる。画素ｂの水平方向の近傍の画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊを変数として、（数１）で定義される６タップフィルタを用いて、中間データｂ１が生成される。
Figure 0004699685
次に、この中間データｂ１を、（数２）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｂが求まる。
Figure 0004699685
ここに、Ｃｌｉｐ（Ｘ）は、カッコ内の変数Ｘを０から２５５の範囲にクリップする関数である。すなわち、変数Ｘが０未満であれば、ｂ＝０とし、変数Ｘが０から２５５の範囲であれば、ｂ＝Ｘとし、変数Ｘが２５６以上であれば、ｂ＝２５５とする。
同様に、１／２精度の画素ｈは、次のように求められる。画素ｈの垂直方向の近傍の画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔを変数として、（数３）で定義される６タップフィルタを用いて、中間データｈ１が生成される。
Figure 0004699685
この中間データｈ１を、（数４）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｈが求まる。
Figure 0004699685
１／４精度の画素ａ、ｃ、ｄ、ｆ、ｉ、ｋ、ｎ、ｑ、は、（数５）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
Figure 0004699685
１／４精度の画素ｅ、ｇ、ｐ、ｒは、同様に、（数６）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
Figure 0004699685
以上のような予測画像の生成において、動きベクトルはサブマクロブロック毎に設定することが可能である。最も小さなサブマクロブロックである４×４の場合においては、整数位置の画素から実数位置の１６箇所の画素を６タップフィルタを使って内挿しなければならない。画素の内挿では画素間にデータの依存関係がないため並列に処理が可能である。従って、本実施の形態に示すように、ＳＩＭＤ型データ並列プロセッサを使うと、効率よくフィルタ処理が出来る。
次に、デブロックフィルタ処理について説明する。
ＭＰＥＧ−４ ＡＶＣでは、４×４画素単位でＤＣＴ処理を行うために、ブロックの境界にブロック歪みが発生する。デブロックフィルタ処理は、ブロックの境界にフィルタをかけて歪みを平滑化するものである。画像の４×４境界に施すフィルタ処理は、Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ（ＢＳ）という境界の強度の値に応じて、フィルタの強度がブロック境界毎に最も適した値に調整される、適応的なフィルタ処理である。すなわち、境界の強度ＢＳは、その境界にフィルタをかけるかどうかの判定と、フィルタをかける際の画素値変動の最大値を定義するために用いられる。
図７は、本発明の第３の実施の形態におけるデブロックフィルタ３１０のブロック図である。本形態のデブロックフィルタ３１０は、ＢＳ条件判定処理部６０２、メモリ６０３、制御部６０４、及び、フィルタ処理部６０５を備え、フィルタ処理部６０５は、メモリ６０６とフィルタ６０７〜６０９を有する。
図７に示すデブロックフィルタ３１０において、ＢＳ条件判定処理部６０２は、境界の強度ＢＳを計算し、その結果を判定して、制御パラメータ６１３をフィルタ処理部６０５に渡す。フィルタ処理部６０５は、制御パラメータ６１３に応じてフィルタ処理を行う。
デブロックフィルタ３１０の処理を、図８を参照して、説明する。
図８は、本発明の第３の実施の形態におけるデブロックフィルタ３１０の処理順序を示す。フィルタ処理は、図８に示すように、境界［１］〜［４］に対する水平フィルタ処理が行われ、続いて、境界［５］〜［８］に対する垂直フィルタ処理が行われる。
境界の強度 ＢＳ＝４ の時のフィルタ処理について説明する。４×４のサブマクロブロックの境界［１］における最初のフィルタ処理では、境界［１］を挟んだ画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の８画素を入力として、画素ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２の６画素を、画素Ｐ２、Ｐ１、Ｐ０、Ｑ０、Ｑ１、Ｑ２に書き換える。
画素Ｐ２、Ｐ１、Ｐ０は、（数７）の条件式によってフィルタ処理の式を切り換え、（数８）と（数９）とによって求められる。
Figure 0004699685
（数７）の条件が満たされる場合は、画素Ｐ０、Ｐ１、Ｐ２を（数８）から求める。
Figure 0004699685
（数７）の条件が満たされない場合は、画素Ｐ０、Ｐ１、Ｐ２を（数９）から求める。
Figure 0004699685
また、画素Ｑ０、Ｑ１、Ｑ２は、（数１０）の条件式によってフィルタ処理の式を切り換え、（数１１）と（数１２）とによって求められる。
Figure 0004699685
（数１０）の条件が満たされる場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１１）から求める。
Figure 0004699685
（数１０）の条件が満たされない場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１２）から求める。
Figure 0004699685
以上のように、量子化パラメータと画素値によって適応的にフィルタ処理を切り換える場合、ＳＩＭＤ型データ並列プロセッサによるデータ処理装置では、ＢＳ条件判定を並列に処理できないために、並列設置された演算器が有効に活用できない。それに代わって、図７に示したように、デブロックフィルタ処理を、ＢＳ条件判定処理部６０２とフィルタ処理部６０５とからなる専用ハードウェアで実行すれば、ＢＳ計算処理とフィルタ処理を別々に演算することができ、ＢＳ条件の判定処理が高速化され、フィルタ処理が並列処理出来る。その結果、デブロックフィルタ処理を、効率よく行うことが出来る。さらに、フィルタ処理部は、輝度Ｙと色差ＵＶにデータの依存がないため、並列動作が可能であり、演算器を導入すると更に処理サイクル数の削減が可能である。これが、本実施の形態において、図３に示すデブロックフィルタ３１０を、図２に示す専用ハードウェアであるデブロックフィルタ処理ユニット１０４によって、処理している理由である。
図３に示す本形態のビデオエンコーダにおいて、デブロックフィルタ３１０によりデブロックフィルタ処理された画像は、出力画像として用いられるだけでなく、そのフレーム以降の参照画像として参照されるため、フレームメモリ３１１に保存しておく。
次に、図３に示すビデオエンコーダを、本形態の信号処理装置で実現した場合の所要処理量と、他の方式によって構成した場合の所要処理量とを比較する。
図９は、本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較を示す図である。
図９において、方式１は、１クロックサイクルあたり１命令を発行出来るプロセッサを用いて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式２は、ＭＩＭＤ型並列データ処理装置とＳＩＭＤ型並列データ処理装置を組み合わせて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式３は、ＳＩＭＤ型並列データ処理装置とＶＬＣの専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合である。方式４は、ＶＬＩＷ型並列データ処理装置とＳＩＭＤ型並列データ処理装置と専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合であり、本実施の形態に相当する。すなわち、方式４のＶＬＩＷ型並列データ処理装置は、本形態の図２に示す、命令並列プロセッサ１００に相当し、ＳＩＭＤ型並列データ処理装置は、同じく、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２に相当し、専用ハードウェアは、同じく、動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５に、相当する。
エンコード処理において、処理量が多いのは、動き検出と動き補償と可変長符号化とデブロックフィルタである。これらの処理量の具体的な数値を各方式について比較すると、以下のようになる。
方式１においては、動き検出処理が「３０４８」メガサイクル、可変長符号化処理が「１０００」メガサイクル、デブロックフィルタ処理が「３２１」メガサイクル、動き補償処理が「３１４」メガサイクル、その他の処理が「２１７」メガサイクルである。全処理量は、「４９００」メガサイクルである。
方式２においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「３３３」メガサイクル、デブロックフィルタ処理が「１０７」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「５２」メガサイクルである。全処理量は、「９００」メガサイクルである。
方式３においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「８０」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「３０」メガサイクルである。全処理量は、「６０７」メガサイクルである。
方式４においては、動き検出処理が「２０３」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「２１」メガサイクル、動き補償処理が「２１」メガサイクル、その他の処理が「２９」メガサイクルである。全処理量は、「３５２」メガサイクルである。
動き検出処理は、対象マクロブロックと参照マクロブロックの画素値の差分絶対値和が最も少ないポジション（動きベクトル）を選択する処理である。ＭＰＥＧ−４ ＡＶＣの場合、４×４のサブマクロブロック単位で動きベクトルを設定することが可能である。従って、１６画素の差分絶対値和の計算が並列に処理出来る。方式２及び方式３では、この動き検出の処理を、８並列のＳＩＭＤ型並列データ処理装置で処理させたものであり、方式１に比べ大幅な高速化が実現している。方式４は、１６並列で差分絶対値和の計算が可能な専用ハードウェアで、動き検出を処理しているため、ＳＩＭＤ型並列データ処理装置よりも更に高速な処理が実現している。
動き補償処理は、動きベクトルが指し示した参照画像を、１／４画素精度で求める処理である。この処理においても、４×４サブマクロブロック単位で処理が行われるため、並列処理が可能である。動き検出処理と同様に、方式２と方式３は、８並列のＳＩＭＤ型並列データ処理装置で、方式４は、専用ハードウェアで動き補償処理を行っており、大幅な高速化を達成している。
可変長符号化処理は、ＣＡＢＡＣと呼ばれる算術符号処理で、周辺ブロックのコンテキストに応じて対象ブロックの発生確率を変化させて復号を行う逐次処理である。方式２では、可変長符号化の処理を、４命令発行可能なＭＩＭＤ型並列データ処理装置を用いて行うことを想定しているが、方式１の１命令発行のプロセッサに比べて、最大でも１／３の処理量である。方式３と方式４は、専用ハードウェアでＶＬＣ処理を行うもので、判定処理やテーブル検索が高速に行われるため、方式１に比べて、１／１５に高速化が可能である。
デブロックフィルタ処理は、方式２がＭＩＭＤ型並列データ処理装置による並列処理で、方式３がＳＩＭＤ型並列データ処理装置による並列処理である。ＭＩＭＤ型では、フィルタ処理の性能が、ＳＩＭＤ型では、ＢＳ判定処理の性能が改善されないため、１／３〜１／４の高速化しか得られない。一方、方式４は、デブロックフィルタ処理を専用ハードウェアで実行するもので、ＢＳ判定処理とフィルタ処理を分割し、パイプライン動作させることによって、方式１に比べ、１／１５の高速化が可能である。
以上、明らかなように、本形態のように、動き検出処理と動き補償処理と可変長符号化処理とデブロックフィルタ処理とを、専用ハードウェアで構成することによって、大幅な高速化が可能である。
（第４の実施の形態）
図１０は、本発明の第４の実施の形態におけるビデオデコーダのブロック図である。
本形態のビデオデコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るデコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオデコーダの各機能を的確に表現した名前が付されている。
図１０に示した本形態のビデオデコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図１０の構成要素と、図２の構成要素との対応関係を示す。
復号制御部３３１の処理は、図２の命令並列プロセッサ１００が行う。
動きベクトル復号部３３６と動き補償部３３７の処理は、図２の第１データ並列プロセッサ１０１が行う。
逆量子化部３３３、逆４×４ＤＣＴ変換部３３４、及び、再構築部３３５の処理は、図２の第２データ並列プロセッサ１０２が行う。
可変長復号部３３２は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３３８は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３３９は、図２の第１共有メモリ１２１に相当する。
本形態のビデオデコーダの動作の概略を説明する。
可変長復号部３３２に、算術符号で符号化された符号化ビデオ入力３４１が入力され、復号されて、量子化ＤＣＴ係数と動きベクトルの差分が求められる。得られた量子化ＤＣＴ係数は、逆量子化部３３３において逆量子化され、さらに、逆４×４ＤＣＴ変換部３３４において逆ＤＣＴ変換されて、差分画像データが得られる。
一方、可変長復号部３３２で得られた動きベクトルの差分から、動きベクトル復号部３３６において、動きベクトルが求められ、動き補償部３３７において、フレームメモリ３３９に格納されている参照画像と動きベクトルとから、予測画像が求められる。
再構築部３３５において、前述の差分画像データと予測画像から、新しい画像が再構築されて、ビデオ出力３４２として出力される。出力されたビデオ出力３４２は、同時に、デブロックフィルタ３３８においてデブロックフィルタ処理された後、フレームメモリ３３９に格納される。
逆量子化部３３３や逆４×４ＤＣＴ変換部３３４の制御は、復号制御部３３１が行う。
デブロックフィルタ処理をはじめ、逆量子化処理、逆ＤＣＴ変換処理は、上述した第３の実施の形態の場合と同様であり、ここでは説明を省略する。
本形態においても、可変長復号処理とデブロックフィルタ処理とを、専用ハードウェアで処理することによって、大幅な高速化が実現出来ている。
また、上述した説明は、本形態のビデオエデコーダを、図２に示す本発明の第２の実施の形態の信号処理装置で実現する例を取り上げたが、本形態のビデオエデコーダは、本発明の第１の実施の形態の信号処理装置を用いて実現することも出来る。また、各プロセッサが分担する処理対象は、適宜変更することも出来る。
（第５の実施の形態）
図１１は、本発明の第５の実施の形態におけるオーディオエンコーダのブロック図であり、図１２は、同じく、本発明の第５の実施の形態におけるオーディオデコーダのブロック図である。
図１１に示すオーディオエンコーダにおいては、オーディオ入力３５３は、圧縮部３５１において、サンプリング及び量子化を含む圧縮処理が行われ、符号化部３５２において、符号化が行われ、符号化オーディオ出力３５４として、出力される。
図１２に示すオーディオデコーダにおいては、符号化オーディオ入力３６３は、復号部３６１において、復号が行われ、伸長部３６２において、逆量子化され伸長処理が行われる。
オーディオのエンコーディング及びデコーディングは、ＭＰＥＧ−４ ＡＶＣのビデオのエンコーディングやデコーディングに比べて、必要な処理量が少ないために、いずれのプロセッサを用いても処理出来る。
本形態のオーディオエンコーダとオーディオデコーダとを、第１の実施の形態の信号処理装置で実現する場合には、図１１に示す圧縮部３５１と符号化部３５２の処理と、図１２に示す復号部３６１と伸長部３６２の処理とは、図１に示す命令並列プロセッサ１００によってお行う。これらの処理は、十分な余裕を持って実行出来る。
（第６の実施の形態）
図１３は、本発明の第６の実施の形態におけるＡＶ再生システムのブロック図である。
本形態のＡＶ再生システムは、再生装置８０１、復調／エラー訂正部８０２、ＡＶデコーダ部８０３、メモリ８０４、Ｄ／Ａ変換器８０５、８０７を備え、ＡＶデコーダ部８０３は、ビデオデコーダ８０３Ａとオーディオデコーダ８０３Ｂを有する。
ビデオデコーダ８０３Ａは、図１０に示した、本発明の第４の実施の形態のビデオデコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置を用いて実現出来る。
オーディオデコーダ８０３Ｂは、図１２に示した、本発明の第５の実施の形態のオーディオデコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオデコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオデコーダ８０３Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶデコーダ部８０３は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
再生装置８０１は、符号化ＡＶ信号を記録したメディアを再生して、再生信号を出力する。この再生装置８０１は、ＭＰＥＧ−４ ＡＶＣ規格の符号化ＡＶ信号を記録したメディアを再生出来るものであれば、ＤＶＤビデオ再生機、ＨＤ（ハードディスク）ビデオ再生機、など、いずれの再生機でも良い。
復調／エラー訂正部８０２は、再生装置８０１が再生した信号を復調し、エラー訂正を行って、ＡＶデコーダ部８０３に出力する。
ＡＶデコーダ部８０３のビデオデコーダ８０３Ａは、符号化ビデオ信号をデコードして、出力し、Ｄ／Ａ変換器８０５において、アナログ信号に変換して、ビデオ出力８０６として出力する。
ＡＶデコーダ部８０３のオーディオデコーダ８０３Ｂは、符号化オーディオ信号をデコードして、出力し、Ｄ／Ａ変換器８０７において、アナログ信号に変換して、オーディオ出力８０８として出力する。
メモリ８０４は、デコード前、デコード中、及び／又は、デコード後のＡＶ信号とその他のデータとを保存する。
なお、本形態のＡＶ再生システムにおいて、復調／エラー訂正部８０２の機能の一部、または全部を、再生装置８０１に持たせてもよい。
本形態のＡＶ再生システムは、ＣＡＴＶ、インターネット、あるいは、衛星通信などから、送られてくる、ＭＥＰＧ−４ ＡＶＣ仕様のＡＶ信号を受信して、復調、デコードすることにも利用出来る。この場合には、受信した信号を復調／エラー訂正部８０２に入力して、上述したプロセスでデコードすることが出来る。さらに、ビデオ出力をディスプレイに表示すれば、ディジタルテレビとしても応用出来る。
（第７の実施の形態）
図１４は、本発明の第７の実施の形態におけるＡＶ記録システムのブロック図である。
本形態のＡＶ記録システムは、ＡＶエンコーダ部８２５、エラー訂正符号付与／変調部８２７、記録装置８２８、メモリ８２６、及び、Ａ／Ｄ変換器８２２、８２４を備え、ＡＶエンコーダ部８２５は、ビデオエンコーダ８２５Ａとオーディオエンコーダ８２５Ｂを有する。
ビデオエンコーダ８２５Ａは、図３に示した、本発明の第３の実施の形態のビデオエンコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置でを用いて実現出来る。
オーディオエンコーダ８２５Ｂは、図１１に示した、本発明の第５の実施の形態のオーディオエンコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオエンコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオエンコーダ８２５Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶエンコーダ部８２５は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
本形態のＡＶ記録システムの動作の概略を説明する。
ビデオ入力８２１は、Ａ／Ｄ変換器８２２でＡ／Ｄ変換され、オーディオ入力８２３は、Ａ／Ｄ変換器８２４でＡ／Ｄ変換され、それぞれ、ＡＶエンコーダ部８２５に出力される。
ＡＶエンコーダ部８２５のビデオエンコーダ８２５Ａは、入力されたビデオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化ビデオビットストリームとして出力する。同様に、オーディオエンコーダ８２５Ｂは、入力されたオーディオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化オーディオビットストリームとして出力する。
エラー訂正／変調部８２７は、ＡＶエンコーダ部８２５が出力した符号化ビデオビットストリームと符号化オーディオビットストリームとに、エラー訂正符号を付与した後、変調し記録装置に出力する。
記録装置８２８は、変調されたＡＶ信号を記録媒体に記録する。記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。
メモリ８２６は、ＡＶエンコーダ部８２５でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号とその他のデータとを保存する。
なお、本形態のＡＶ記録システムにおいて、エラー訂正／変調部８２７の機能の一部、または全部を、記録装置８２８に含めることも出来る。
本形態のＡＶ記録システムは、入力にビデオカメラを接続して、その信号をＭＰＥＧ−４ ＡＶＣ仕様でエンコードして記録する、ビデオカメラシステムとして利用することも出来る。
（第８の実施の形態）
図１５は、本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図である。本形態のＡＶ記録／再生システムは、制御部８４０、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／デコーダ部８４３、ＡＶインターフェース８４５、及び、メモリ８４４を備え、ＡＶエンコーダ／デコーダ部８４３は、ビデオエンコーダ／デコーダ８４３Ａとオーディオエンコーダ／デコーダ８４３Ｂを有し、ＡＶインターフェース８４５は、ビデオの入出力とオーディオの入出力を行う。
ＡＶエンコーダ／デコーダ部８４３は、機能的には、本発明の第３の実施の形態のビデオエンコーダと、第４の実施の形態のビデオデコーダと、第５の実施の形態のオーディオエンコーダとオーディオデコーダの、それぞれの機能と同等の機能を有しており、第１の実施の形態における一つの信号処理装置、又は、第２の実施の形態における一つの信号処理装置によって構築されている。それぞれの動作については、すでに述べたので、ここでは説明を省略する。
記録再生装置８４１は、変調されたＭＰＥＧ−４ ＡＶＣ規格のＡＶ信号を、記録／再生するもので、記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。使用する記録媒体によって、異なる記録／再生機構を有している。
変復調／エラー処理部８４２は、記録時には、ＡＶエンコーダ／デコーダ部８４３のエンコードしたビデオビットストリームとオーディオビットストリームとに、エラー訂正符号を付与して変調し、記録／再生装置８４１に送出する。変復調／エラー処理部８４２は、再生時には、記録／再生装置８４１が再生したＡＶ信号を復調して、エラー訂正を施した後、ビデオビットストリームとオーディオビットストリームとを、ＡＶエンコーダ／デコーダ部８４３に、送出する。
ＡＶインターフェース８４５は、再生時には、ＡＶエンコーダ／デコーダ部８４３がデコードしたビデオ信号とオーディオ信号とを， それぞれＤ／Ａ変換して、ビデオ出力８４６とオーディオ出力８４８を出力する。ＡＶインターフェース８４５は、記録時には、ビデオ入力８４７とオーディオ入力８４９とを、それぞれＡ／Ｄ変換して、ＡＶエンコーダ／デコーダ部８４３に送出する。
メモリ８４４は、ＡＶエンコーダ／デコーダ部８４３でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号、並びに、デコード前、デコード中、及び／又は、デコード後のＡＶ信号と、その他のデータとを保存する。
制御部８４０は、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／でコーダ部８４３、及び、ＡＶインターフェース８４５を制御して、それぞれの記録時と、再生時の機能の切り替えと、データ転送の制御を行う。
なお、本形態のＡＶ記録／再生システムにおいて、変復調／エラー処理部８４２の機能の一部、または全部を、記録／再生装置８４１に含めることも出来る。
以上、詳細に述べたように、本発明の信号処理装置及びそれを用いた電子機器は、今後、ＭＰＥＧ−４ ＡＶＣの符号化規格が適用される様々な電子機器への応用が期待される。このような電子機器への応用は、現在ＭＰＥＧ−２で行われているＤＶＤシステムや、ビデオカメラのシステム、携帯電話におけるテレビ電話システムなど家庭内の据え置き端末から電池駆動のモバイル端末までの広い範囲に渡る。
それらのシステムでは、ＭＰＥＧ−４ ＡＶＣ規格を実現するＬＳＩに対して要求される性能が、システムの応用の仕方によって異なる。据え置きのシステムでは、大きな画像サイズを扱うために処理性能が重要であり、一方、携帯端末ではバッテリ寿命を長くするために低消費電力が重要となる。本発明の信号処理装置及びそれを用いた電子機器は、そのいずれにも応用可能である。すなわち、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を可能としている。
本発明の信号処理装置は、複数のＳＩＭＤ型プロセッサ（図１の例では、第１データ並列プロセッサ１０１と第２のデータ並列プロセッサ１０２）で構成されている。１個のＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、一つの命令で８種類のデータ流を並列に処理することが出来る。これらのＳＩＭＤ型プロセッサの搭載数を信号処理装置の利用目的に応じて変更することにより、ＬＳＩのアーキテクチャ変更することなしに様々な要求性能に対応することが出来る。
例えば、低消費電力が求められる携帯端末向けの信号処理装置では、ＳＩＭＤ型プロセッサを２つ搭載することにより、並列度を１６にすることができ、低電圧動作及び動作周波数低減が可能である。
また、１６並列で使用するのではなく、８個の処理要素からなるＳＩＭＤ型プロセッサを２組使い別の処理をさせることも可能である。
第一のＳＩＭＤ型プロセッサが動き補償の画素値計算をしている間に、第二のＳＩＭＤ型プロセッサがＤＣＴ処理を行うといったように、全体の処理を分担して、並列処理することによって、処理要素の稼働率を維持したまま、複数の処理が出来る。この結果、演算性能の大幅な改善が可能となる。
上記の実施の形態では、ＭＰＥＧ−４ ＡＶＣ規格に則った応用について述べたが、本発明は、この応用のみに限定されるものではない。本発明の趣旨は、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の適用が可能である。
本発明に係る信号処理装置は、例えば、オーディオ及び画像の圧縮伸張処理を、並列プロセッサと専用ハードウェアを用いて高速に行う分野あるいはその関連分野等において利用できる。
本発明の第１の実施の形態における信号処理装置のブロック図 本発明の第２の実施の形態における信号処理装置のブロック図 本発明の第３の実施の形態におけるビデオエンコーダのブロック図 ＣＡＢＡＣ算術符号化処理ユニットのブロック図 符号化対象ブロックと隣接ブロックの配置図 １／４画素精度の動き補償を説明する図 本発明の第３の実施の形態におけるデブロックフィルタのブロック図 デブロックフィルタの処理順序 本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較 本発明の第４の実施の形態におけるビデオエデコーダのブロック図 本発明の第５の実施の形態におけるオーディオエンコーダのブロック図 本発明の第５の実施の形態におけるオーディオデコーダのブロック図 本発明の第６の実施の形態におけるＡＶ再生システムのブロック図 本発明の第７の実施の形態におけるＡＶ記録システムのブロック図 本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図 従来のＳＩＭＤ型並列データ処理装置とＭＩＭＤ型並列データ処理装置とを組み合わせた信号処理装置のブロック図 従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置のブロック図
符号の説明
１００ 命令並列プロセッサ
１０１ 第１データ並列プロセッサ
１０２ 第２データ並列プロセッサ
１０３ 動き検出ユニット
１０４ デブロックフィルタ処理ユニット
１０５ 可変長符号化／復号処理ユニット
１０６ 入出力インターフェース
１１０〜１１６ ローカルメモリ
１２０ ブリッジユニット
１２１ 第１共有メモリ
１２２ 第２共有メモリ
１３０ 第１命令バス
１３１ 第２命令バス
１３２ 第１データバス
１３３ 第２データバス
３０１ 符号化制御部
３０２ 差分検出部
３０３ モード切替部
３０４ ４×４ＤＣＴ変換部
３０５ 量子化部
３０６ 逆量子化部
３０７ 逆４×４ＤＣＴ変換部
３０８ 可変長符号部
３０９ 再構築部
３１０、３３８ デブロックフィルタ
３１１、３３９ フレームメモリ
３１２ 動き補償部
３１３ 動き検出部
３１６ 動きベクトル
３１７ 予測画像
３１８ イントラモード
３１９ インターモード
３３１ 復号制御部
３３２ 可変長復号部
３３３ 逆量子化部
３３４ 逆４×４ＤＣＴ変換部
３３５ 再構築部
３３６ 動きベクトル復号部
３３７ 動き補償部
３５１ 圧縮部
３５２ 符号化部
３６１ 復号部
３６２ 伸長部
４０１ コンテキストモデリング部
４０２ バイナリ化部
４０３ 出現確立予測部
４０４ 符号化部
４０５ 適応２進算術符号化処理部
４０６ 隣接ブロックＡ
４０７ 隣接ブロックＢ
４０８ 符号化対象ブロックＣ
６０２ ＢＳ条件判定処理部
６０３、６０６、８０４、８２６、８４４ メモリ
６０４ 制御部
６０５ フィルタ処理部
６０７〜６０９ フィルタ
８０１ 再生装置
８０２ 復調／エラー訂正部
８０３ ＡＶデコーダ部
８０３Ａ ビデオデコーダ
８０３Ｂ オーディオデコーダ
８０５、８０７ Ｄ／Ａ変換器
８２２、８２４ Ａ／Ｄ変換器
８２５ ＡＶエンコーダ部
８２５Ａ ビデオエンコーダ
８２５Ｂ オーディオエンコーダ
８２７ エラー訂正符号付与／変調部
８２８ 記録装置
８４０ 制御部
８４１ 記録／再生装置
８４２ 変復調／エラー処理部
８４３ ＡＶエンコーダ／でコーダ部
８４３Ａ ビデオエンコーダ／デコーダ
８４３Ｂ オーディオエンコーダ／デコーダ
８４５ ＡＶインターフェース
９０１ システム制御部
９０２ ＳＩＭＤ型並列データ処理装置
９０３ ＭＩＭＤ型並列データ処理装置
９０４ 共有メモリバス
９０５ 共有メモリ
９１０、９２０ 全体制御部
９１１〜９１４、９２５〜９２８ 演算器
９１５〜９１８、９２９〜９３２ ローカルメモリ
９２１〜９２４ 制御部
１００１ 画像処理装置
１００２ 命令メモリ
１００３ プロセッサ
１００４ ＳＩＭＤ型演算手段
１００５ ＶＬＣ（可変長符号化）処理手段
１００６ 外部データインターフェース
１００７ 内部データバス
１００８ ビデオデータバス
１００９ ビデオ入力装置
１０１０ ビデオ出力装置
１０１１ 外部メモリ

Claims (11)

  1. 命令並列プロセッサと、
    データ並列プロセッサと、
    複数の専用ハードウェアと、
    第１命令バスと、
    第１データバスと、
    第１共有メモリと、
    入出力インターフェースと、を備えた信号処理装置であって、
    前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、
    前記第１命令バスには、前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアとが接続され、
    前記第１命令バスを介して、前記命令並列プロセッサが、前記データ並列プロセッサ、及び、前記複数の専用ハードウェアを制御するための命令が通信され、
    前記第１データバスには、前記命令並列プロセッサのローカルメモリと、前記データ並列プロセッサのそれぞれのローカルメモリと、前記複数の専用ハードウェアのそれぞれのローカルメモリと、前記第１共有メモリと、前記入出力インターフェースのローカルメモリの少なくとも１つが接続されると共にこれらのメモリの間でのデータ転送が行われ、
    前記命令並列プロセッサは、符号化モードの判定を行い、
    前記データ並列プロセッサは、予測画像の生成を行い、
    前記専用ハードウェアは、可変長符号化を行う信号処理装置。
  2. 前記命令並列プロセッサは、イントラ予測符号化もしくはインター予測符号化のいずれかを、前記符号化モードとして判定する、請求項１記載の信号処理装置。
  3. 前記データ並列プロセッサは、６タップフィルタを用いて、前記予測画像を生成する、請求項１又は２記載の信号処理装置。
  4. 前記専用ハードウェアは、コンテキスト適応可変長符号化（以下、「ＣＡＶＬＣ」という）およびコンテキスト適応２進算術符号化（以下、「ＣＡＢＡＣ」という）のいずれかを用いて、前記可変長符号化を行う、請求項１から３のいずれか記載の信号処理装置。
  5. 前記データ並列プロセッサは、さらに、
    前記予測画像と入力画像との差分画像の算出、
    前記差分画像の直交変換、
    前記直交変換後のデータの量子化、
    前記量子化後のデータの逆量子化、
    前記逆量子化後のデータの逆直交変換および前記逆直交変換後のデータと入力画像との加算による再構築画像データの算出、の少なくとも１つを行い、
    前記専用ハードウェアは、さらに、
    前記入力画像の動き検出および前記再構築画像データに対するデブロックフィルタの、少なくとも一つを行う、請求項１から４のいずれか記載の信号処理装置。
  6. 命令並列プロセッサと、
    データ並列プロセッサと、
    複数の専用ハードウェアと、
    第１命令バスと、
    第１データバスと、
    第１共有メモリと、
    入出力インターフェースとを備えた、信号処理装置であって、
    前記命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、
    前記第１命令バスには、前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアとが接続され、
    前記第１命令バスを介して、前記命令並列プロセッサが、前記データ並列プロセッサ、及び、前記複数の専用ハードウェアを制御するための命令が通信され、
    前記第１データバスには、前記命令並列プロセッサのローカルメモリと、前記データ並列プロセッサのそれぞれのローカルメモリと、前記複数の専用ハードウェアのそれぞれのローカルメモリと、前記第１共有メモリと、前記入出力インターフェースのローカルメモリの少なくとも１つが接続されると共にこれらのメモリの間でのデータ転送が行われ、
    前記データ並列プロセッサは、動き補償に基づく予測画像データの算出を行い、
    前記専用ハードウェアは、可変長復号を行う信号処理装置。
  7. 前記データ並列プロセッサは、６タップフィルタを用いて、前記予測画像の算出を行う、請求項６記載の信号処理装置。
  8. 前記専用ハードウェアは、ＣＡＶＬＣおよびＣＡＢＡＣのいずれかの符号化方式に対応する可変長復号方式を用いて、前記可変長復号を行う、請求項６又は７記載の信号処理装置。
  9. 前記データ並列プロセッサは、さらに、
    動きベクトルの復号処理、
    前記可変長復号後の係数データの逆量子化、
    前記逆量子化後のデータを逆直交変換および前記逆直交変換後のデータと前記予測画像データとの加算による再構築画像データの算出の、少なくとも一つを行い、
    前記専用ハードウェアは、さらに、
    前記再構築画像データに対するデブロックフィルタを行う、請求項６から８のいずれか記載の信号処理装置。
  10. 命令並列プロセッサと、
    データ並列プロセッサと、
    複数の専用ハードウェアと、
    第１命令バスと、
    第１データバスと、
    第１共有メモリと、
    入出力インターフェースと、
    第２データバスと、
    第２共有メモリと、
    前記第１データバスと前記第２データバスとを接続するブリッジユニットと、を備えた信号処理装置であって、
    前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、
    前記第１命令バスには、前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアとが接続され、
    前記第１命令バスを介して、前記命令並列プロセッサが、前記データ並列プロセッサ、及び、前記複数の専用ハードウェアを制御するための命令が通信され、
    前記第１データバスには、前記データ並列プロセッサのそれぞれのローカルメモリと、前記複数の専用ハードウェアのそれぞれのローカルメモリと、前記第１共有メモリと、前記入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、
    前記第２データバスには、前記命令並列プロセッサのローカルメモリと、前記第２共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、
    前記ブリッジユニットを介して、前記第１データバスに接続された各メモリと、前記第２データバスに接続された各メモリとの間のデータ転送が行われ、
    前記命令並列プロセッサは、符号化モードの判定を行い、
    前記データ並列プロセッサは、予測画像の生成を行い、
    前記専用ハードウェアは、可変長符号化を行う信号処理装置。
  11. 命令並列プロセッサと、
    データ並列プロセッサと、
    複数の専用ハードウェアと、
    第１命令バスと、
    第１データバスと、
    第１共有メモリと、
    入出力インターフェースと、
    第２データバスと、
    第２共有メモリと、
    前記第１データバスと前記第２データバスとを接続するブリッジユニットと、を備えた信号処理装置であって、
    前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、
    前記第１命令バスには、前記命令並列プロセッサと、前記データ並列プロセッサと、前記複数の専用ハードウェアとが接続され、
    前記第１命令バスを介して、前記命令並列プロセッサが、前記データ並列プロセッサ、及び、前記複数の専用ハードウェアを制御するための命令が通信され、
    前記第１データバスには、前記データ並列プロセッサのそれぞれのローカルメモリと、前記複数の専用ハードウェアのそれぞれのローカルメモリと、前記第１共有メモリと、前記入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、
    前記第２データバスには、前記命令並列プロセッサのローカルメモリと、前記第２共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、
    前記ブリッジユニットを介して、前記第１データバスに接続された各メモリと、前記第２データバスに接続された各メモリとの間のデータ転送が行われ、
    前記データ並列プロセッサは、動き補償に基づく予測画像データの算出を行い、
    前記専用ハードウェアは、可変長復号を行う信号処理装置。
JP2003297227A 2003-08-21 2003-08-21 信号処理装置及びそれを用いた電子機器 Expired - Fee Related JP4699685B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2003297227A JP4699685B2 (ja) 2003-08-21 2003-08-21 信号処理装置及びそれを用いた電子機器
EP20110178690 EP2395756A2 (en) 2003-08-21 2004-08-16 Signal-processing apparatus and electronic apparatus using same
EP20040019387 EP1509044A3 (en) 2003-08-21 2004-08-16 Digital video signal processing apparatus
US10/919,238 US20050062746A1 (en) 2003-08-21 2004-08-17 Signal-processing apparatus and electronic apparatus using same
KR1020040065256A KR20050021233A (ko) 2003-08-21 2004-08-19 신호 처리 장치 및 그것을 이용한 전자 기기
CNB2004100641420A CN100401783C (zh) 2003-08-21 2004-08-19 信号处理装置及使用它的电子设备
US12/179,873 US10230991B2 (en) 2003-08-21 2008-07-25 Signal-processing apparatus including a second processor that, after receiving an instruction from a first processor, independantly controls a second data processing unit without further instrcuction from the first processor
KR1020110031428A KR101213326B1 (ko) 2003-08-21 2011-04-05 신호 처리 장치
US16/257,317 US11563985B2 (en) 2003-08-21 2019-01-25 Signal-processing apparatus including a second processor that, after receiving an instruction from a first processor, independantly controls a second data processing unit without further instruction from the first processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003297227A JP4699685B2 (ja) 2003-08-21 2003-08-21 信号処理装置及びそれを用いた電子機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009271743A Division JP2010055629A (ja) 2009-11-30 2009-11-30 画像音声信号処理装置及びそれを用いた電子機器

Publications (2)

Publication Number Publication Date
JP2005070938A JP2005070938A (ja) 2005-03-17
JP4699685B2 true JP4699685B2 (ja) 2011-06-15

Family

ID=34056245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003297227A Expired - Fee Related JP4699685B2 (ja) 2003-08-21 2003-08-21 信号処理装置及びそれを用いた電子機器

Country Status (5)

Country Link
US (3) US20050062746A1 (ja)
EP (2) EP2395756A2 (ja)
JP (1) JP4699685B2 (ja)
KR (2) KR20050021233A (ja)
CN (1) CN100401783C (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
KR100644620B1 (ko) * 2004-07-29 2006-11-10 삼성전자주식회사 포스트 필터링을 적용한 동영상 디코딩 방법 및 그 장치
CN101848389A (zh) * 2004-08-31 2010-09-29 松下电器产业株式会社 运动图像编码、解码方法及装置、记录介质的记录方法
ES1058644Y (es) * 2004-10-08 2005-05-01 Fagor S Coop Valvula electronica de regulacion de un caudal de gas para coccion.
KR101208233B1 (ko) * 2004-11-09 2012-12-04 파나소닉 주식회사 중간 형식으로 변환하는 2단계 산술 복호
JP4442891B2 (ja) * 2004-11-30 2010-03-31 キヤノン株式会社 可変長符号化装置及び可変長符号化方法
WO2006078594A1 (en) 2005-01-19 2006-07-27 Thomson Licensing Method and apparatus for real time parallel encoding
US7769274B2 (en) * 2005-05-06 2010-08-03 Mediatek, Inc. Video processing and optical recording using a shared memory
FR2888349A1 (fr) * 2005-07-06 2007-01-12 St Microelectronics Sa Adaptation de debit binaire dans un flot de traitement de donnees
KR100717052B1 (ko) * 2005-11-08 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 이진 산술 복호화와 이진 매칭을병렬 처리하는 원소 구문의 복호화 방법 및 이를 위한복호화 장치
KR100717055B1 (ko) 2005-11-18 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
US7245242B2 (en) * 2005-11-28 2007-07-17 Conexant Systems, Inc. Decoding systems and methods
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7849241B2 (en) * 2006-03-23 2010-12-07 International Business Machines Corporation Memory compression method and apparatus for heterogeneous processor architectures in an information handling system
CN101043625B (zh) * 2006-03-23 2010-10-20 国际商业机器公司 用于高速解压缩数字数据的装置和方法
JP2007265130A (ja) * 2006-03-29 2007-10-11 Seiko Epson Corp 画像処理装置及び画像処理方法
JP4834446B2 (ja) * 2006-04-11 2011-12-14 株式会社東芝 画像処理装置
US8290044B2 (en) * 2006-05-10 2012-10-16 Qualcomm Incorporation Instruction for producing two independent sums of absolute differences
CN101076124B (zh) * 2006-05-18 2010-09-08 北京大学深圳研究生院 去块滤波器
US7656326B2 (en) * 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
KR20080008137A (ko) 2006-07-19 2008-01-23 삼성전자주식회사 영상 복원 장치 및 방법
CN1889667B (zh) * 2006-07-26 2011-03-30 浙江大学 视频信号多处理器并行处理方法
JP4625903B2 (ja) * 2006-07-26 2011-02-02 国立大学法人神戸大学 画像処理プロセッサ
US8660188B2 (en) 2006-08-08 2014-02-25 Panasonic Corporation Variable length coding apparatus, and method and integrated circuit of the same
US9094686B2 (en) * 2006-09-06 2015-07-28 Broadcom Corporation Systems and methods for faster throughput for compressed video data decoding
US8731064B2 (en) * 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
TWI324888B (en) * 2006-09-19 2010-05-11 Himax Tech Ltd Image de-blocking method
US7813567B2 (en) * 2007-04-26 2010-10-12 Texas Instruments Incorporated Method of CABAC significance MAP decoding suitable for use on VLIW data processors
US7885473B2 (en) 2007-04-26 2011-02-08 Texas Instruments Incorporated Method of CABAC coefficient magnitude and sign decoding suitable for use on VLIW data processors
KR100895298B1 (ko) 2007-04-30 2009-05-07 한국전자통신연구원 멀티미디어 데이터의 효율적인 병렬 처리를 위한 장치,방법, 데이터 처리 엘리먼트
JP2008299610A (ja) 2007-05-31 2008-12-11 Toshiba Corp マルチプロセッサ
US8634470B2 (en) * 2007-07-24 2014-01-21 Samsung Electronics Co., Ltd. Multimedia decoding method and multimedia decoding apparatus based on multi-core processor
KR101355375B1 (ko) * 2007-07-24 2014-01-22 삼성전자주식회사 멀티코어 플랫폼 기반의 멀티미디어 복호화 방법 및 장치
KR101392349B1 (ko) * 2007-08-23 2014-05-19 삼성전자주식회사 비디오 디코딩 방법 및 장치
US9131240B2 (en) * 2007-08-23 2015-09-08 Samsung Electronics Co., Ltd. Video decoding method and apparatus which uses double buffering
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US9619428B2 (en) 2008-05-30 2017-04-11 Advanced Micro Devices, Inc. SIMD processing unit with local data share and access to a global data share of a GPU
US8755515B1 (en) 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
JP5435452B2 (ja) * 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
JP5343703B2 (ja) * 2009-05-22 2013-11-13 ソニー株式会社 復号処理装置、復号処理方法、およびプログラム
JP2011034190A (ja) 2009-07-30 2011-02-17 Renesas Electronics Corp データ処理装置
CN101860650B (zh) * 2009-08-24 2012-12-12 深圳市海云天科技股份有限公司 一种基于网络阅卷的图像采集处理***
US8254709B2 (en) * 2009-12-16 2012-08-28 Industrial Technology Research Institute Variable length encoding device of image compression system
JP2011166273A (ja) * 2010-02-05 2011-08-25 Mitsubishi Electric Corp 動画像符号化装置及び動画像符号化方法
JP5589582B2 (ja) * 2010-06-14 2014-09-17 コニカミノルタ株式会社 画像処理装置及びプログラム
SG189076A1 (en) * 2010-09-30 2013-05-31 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
CN101977318B (zh) * 2010-10-29 2012-02-08 西安电子科技大学 Dct量化的并行装置及其方法
JP2012124838A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像復号化装置と画像復号化方法および画像符号化装置と画像符号化方法並びにプログラム
US9762918B2 (en) * 2011-05-27 2017-09-12 Hfi Innovation Inc. Method and apparatus for line buffer reduction for video processing
JP5871628B2 (ja) 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
BR112013018850B1 (pt) * 2011-12-21 2022-09-27 Sun Patent Trust Método e aparelho de decodificação de imagem, e método e aparelho de codificação de imagem
ES2415755B2 (es) * 2011-12-26 2014-02-04 Universidad De Alicante Sistema de procesamiento flexible de imágenes digitales.
JP6085065B2 (ja) * 2015-02-09 2017-02-22 株式会社日立情報通信エンジニアリング 画像圧縮伸長装置
JP2018011258A (ja) * 2016-07-15 2018-01-18 日本電気株式会社 処理制御装置、処理制御方法及びプログラム
CN106303450A (zh) * 2016-08-29 2017-01-04 合肥康胜达智能科技有限公司 一种视频图像处理方法
WO2019049543A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 音声処理装置、音声処理方法及びプログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0297242B1 (en) * 1987-06-30 1994-07-06 Kabushiki Kaisha Toshiba Recording/reproducing system and method with record restriction function
US5003256A (en) * 1989-09-07 1991-03-26 Amdahl Corporation Clock skew measurement technique
US5355508A (en) * 1990-05-07 1994-10-11 Mitsubishi Denki Kabushiki Kaisha Parallel data processing system combining a SIMD unit with a MIMD unit and sharing a common bus, memory, and system controller
US5588152A (en) * 1990-11-13 1996-12-24 International Business Machines Corporation Advanced parallel processor including advanced support hardware
JP2884831B2 (ja) 1991-07-03 1999-04-19 株式会社日立製作所 処理装置
JPH0520283A (ja) * 1991-07-11 1993-01-29 Mitsubishi Electric Corp 並列データ処理装置
JPH05324018A (ja) 1992-05-20 1993-12-07 Fanuc Ltd Ｐｃの制御回路
DE4333947C2 (de) 1993-10-06 1996-08-08 Schroff Gmbh Geräteschrank
IL123173A (en) 1994-08-04 1999-07-14 Orad Hi Tec Systems Ltd Apparatus and method for video broadcasting
US5623312A (en) * 1994-12-22 1997-04-22 Lucent Technologies Inc. Compressed-domain bit rate reduction system
JP3674720B2 (ja) * 1995-10-23 2005-07-20 富士通株式会社 並列計算機におけるデータ転送方法
KR100280285B1 (ko) * 1996-08-19 2001-02-01 윤종용 멀티미디어 신호에 적합한 멀티미디어 프로세서
US6058465A (en) * 1996-08-19 2000-05-02 Nguyen; Le Trong Single-instruction-multiple-data processing in a multimedia signal processor
KR19980044990A (ko) * 1996-12-09 1998-09-15 양승택 휴대형 멀티미디어 데이터 입출력 처리기의 구조 및 그 구동 방법
JPH1165989A (ja) 1997-08-22 1999-03-09 Sony Computer Entertainment:Kk 情報処理装置
DE69825710T2 (de) 1997-11-28 2005-07-14 Matsushita Electric Industrial Co., Ltd., Kadoma Audio-Video Dekodierungssystem
JP3410669B2 (ja) 1997-11-28 2003-05-26 松下電器産業株式会社 映像音声処理装置
US6145030A (en) * 1998-03-27 2000-11-07 Intel Corporation System for managing input/output address accesses at a bridge/memory controller
JP3474115B2 (ja) 1998-10-09 2003-12-08 株式会社クボタ 速度差操向式作業機の伝動装置
CN1338090A (zh) * 1998-12-15 2002-02-27 因坦塞斯公司 使用编程的并行计算机实现图像处理功能和控制的数字摄像机
WO2000043868A1 (en) 1999-01-20 2000-07-27 Hitachi, Ltd. Data processor and device for arithmetic operation
JP2000259579A (ja) 1999-03-11 2000-09-22 Hitachi Ltd 半導体集積回路
JP2000311132A (ja) 1999-04-28 2000-11-07 Mitsubishi Electric Corp 複数バス間のメモリアクセス制御方法
US6718415B1 (en) * 1999-05-14 2004-04-06 Acqis Technology, Inc. Computer system and method including console housing multiple computer modules having independent processing units, mass storage devices, and graphics controllers
US6473819B1 (en) * 1999-12-17 2002-10-29 International Business Machines Corporation Scalable interruptible queue locks for shared-memory multiprocessor
JP2001309386A (ja) 2000-04-19 2001-11-02 Mitsubishi Electric Corp 画像処理装置
JP2002024084A (ja) 2000-07-12 2002-01-25 Mitsubishi Electric Corp 半導体集積回路装置および電子システム
JP2002041285A (ja) 2000-07-28 2002-02-08 Toshiba Corp データ処理装置およびデータ処理方法
CN1139873C (zh) * 2001-01-18 2004-02-25 清华大学 基于混合视频编码方法的可编程视频信号处理器
US6832305B2 (en) * 2001-03-14 2004-12-14 Samsung Electronics Co., Ltd. Method and apparatus for executing coprocessor instructions
JP2002358288A (ja) 2001-05-31 2002-12-13 Hitachi Ltd 半導体集積回路及びコンピュータ読取り可能な記録媒体
US6912638B2 (en) * 2001-06-28 2005-06-28 Zoran Corporation System-on-a-chip controller
JP3564445B2 (ja) * 2001-09-20 2004-09-08 松下電器産業株式会社 プロセッサ、コンパイル装置及びコンパイル方法
JP3779580B2 (ja) * 2001-09-27 2006-05-31 株式会社東芝 信号処理方法及び装置、信号再生方法及び装置、記録媒体
US6944746B2 (en) * 2002-04-01 2005-09-13 Broadcom Corporation RISC processor supporting one or more uninterruptible co-processors
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US8090928B2 (en) * 2002-06-28 2012-01-03 Intellectual Ventures I Llc Methods and apparatus for processing scalar and vector instructions
EP1387259B1 (en) * 2002-07-31 2017-09-20 Texas Instruments Incorporated Inter-processor control
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
JP4283809B2 (ja) * 2003-08-07 2009-06-24 株式会社ルネサステクノロジ 画像処理用半導体プロセッサ
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
US7167971B2 (en) * 2004-06-30 2007-01-23 International Business Machines Corporation System and method for adaptive run-time reconfiguration for a reconfigurable instruction set co-processor architecture
US7200723B1 (en) * 2004-08-06 2007-04-03 Xilinx, Inc. Access to a bank of registers of a device control register interface using a single address
US8161209B2 (en) * 2008-03-31 2012-04-17 Advanced Micro Devices, Inc. Peer-to-peer special purpose processor architecture and method
US11345356B2 (en) * 2019-12-23 2022-05-31 Qualcomm Incorporated Passenger-less and driver-less vehicle operating modes

Also Published As

Publication number Publication date
US11563985B2 (en) 2023-01-24
CN1585490A (zh) 2005-02-23
US20190174146A1 (en) 2019-06-06
JP2005070938A (ja) 2005-03-17
EP1509044A3 (en) 2009-04-29
KR101213326B1 (ko) 2012-12-18
EP1509044A2 (en) 2005-02-23
EP2395756A2 (en) 2011-12-14
US10230991B2 (en) 2019-03-12
KR20050021233A (ko) 2005-03-07
KR20110044739A (ko) 2011-04-29
US20050062746A1 (en) 2005-03-24
US20080307198A1 (en) 2008-12-11
CN100401783C (zh) 2008-07-09

Similar Documents

Publication Publication Date Title
JP4699685B2 (ja) 信号処理装置及びそれを用いた電子機器
KR101927283B1 (ko) 비디오 코딩을 위한 저 복잡성 인트라 예측
JP4920034B2 (ja) マルチスレッドｓｉｍｄ処理を利用したメディア符号化の並列実行
JP6989699B2 (ja) ビデオ符号化のためのインター予測機器及び方法の補間フィルタ
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
US20130188694A1 (en) Method of determining binary codewords for transform coefficients
US20090010326A1 (en) Method and apparatus for parallel video decoding
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US11962784B2 (en) Intra prediction
JP5655100B2 (ja) 画像音声信号処理装置及びそれを用いた電子機器
Tung et al. DSP-based multi-format video decoding engine for media adapter applications
KR100636911B1 (ko) 색도 신호의 인터리빙 기반 동영상 복호화 방법 및 그 장치
JP2010055629A (ja) 画像音声信号処理装置及びそれを用いた電子機器
Roszkowski et al. Intra prediction hardware module for high-profile H. 264/AVC encoder
CN115443655A (zh) 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法
Shoham et al. Introduction to video compression
Chan et al. Can You See Me Now?
Lin et al. Introduction to Video Coding and H. 264/AVC
JP2009017256A (ja) 画像データ処理装置、画像データ処理方法、画像データ処理方法のプログラム及び画像データ処理方法のプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110303

R150 Certificate of patent or registration of utility model

Ref document number: 4699685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees