JP4663223B2 - 演算処理装置 - Google Patents

演算処理装置 Download PDF

Info

Publication number
JP4663223B2
JP4663223B2 JP2003320325A JP2003320325A JP4663223B2 JP 4663223 B2 JP4663223 B2 JP 4663223B2 JP 2003320325 A JP2003320325 A JP 2003320325A JP 2003320325 A JP2003320325 A JP 2003320325A JP 4663223 B2 JP4663223 B2 JP 4663223B2
Authority
JP
Japan
Prior art keywords
image data
arithmetic
processing
unit
selector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003320325A
Other languages
English (en)
Other versions
JP2005092252A (ja
Inventor
貴司 増野
達郎 重里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003320325A priority Critical patent/JP4663223B2/ja
Priority to US10/935,193 priority patent/US7412470B2/en
Publication of JP2005092252A publication Critical patent/JP2005092252A/ja
Application granted granted Critical
Publication of JP4663223B2 publication Critical patent/JP4663223B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/544—Indexing scheme relating to group G06F7/544
    • G06F2207/5442—Absolute difference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)
  • Microcomputers (AREA)

Description

本発明は、演算処理装置に係わり、特に動画データの符号化規格であるＭＰＥＧ（Moving Picture Experts Group）と静止画データの符号化規格であるＪＰＥＧ（Joint Photographic Experts Group）の両方に対応したエンコーダに構成される、動き推定（Motion Estimation：以下ＭＥと略称する）回路、離散コサイン変換（Discrete Cosine Transform：以下ＤＣＴと略称する）回路、ディジタルフィルタ等を構成する演算処理装置に関する。
例えば、動画像を撮影する機能を有する従来のディジタルスチルカメラ（以下、ＤＳＣと略称する）には、ＭＰＥＧとＪＰＥＧの両規格に対応したエンコーダ（以下、ＭＰＥＧ／ＪＰＥＧエンコーダと称する）が塔載されている。
従来のＭＰＥＧ／ＪＰＥＧエンコーダにおいて、ＭＰＥＧ処理には、動画データのフレーム内およびフレーム間の動きベクトルの方向と大きさを検出するために高性能なＭＥ回路が必要で、ＤＣＴ演算に比べてＭＥ演算が支配的となり、メガピクセル級のＪＰＥＧ処理には、ＭＰＥＧ処理におけるＤＣＴ回路よりも高い処理能力を有するＤＣＴ回路が必要で、ＤＣＴ演算が支配的となり、またＭＰＥＧ処理とＪＰＥＧ処理の共通回路としてディジタルフィルタが必要となる。
図１９は、ＭＰＥＧ／ＪＰＥＧエンコーダを有するＤＳＣの一構成例を示すブロック図である。図１９において、１９０１はレンズ等の光学部品からなる光学部で、撮像対象からの光信号は、光学部１９０１を介して、ＣＣＤ等の撮像素子１９０２に入力されて電気信号に変換される。１９０３はアナログ信号処理／タイミング信号発生部であり、タイミング信号発生部（ＴＧ）では、撮像素子１９０２を駆動するタイミング信号を発生し、アナログ信号処理部では、撮像素子１９０２からのアナログ信号に対して、相関二重サンプリング（ＣＤＳ）、自動ゲイン制御（ＡＧＣ）、Ａ／Ｄ変換等の処理を施して、ディジタルの画像データに変換する。このようにして得られた画像データは、メモリコントローラ１９０４を介して、メモリ１９０５に格納される。
メモリ１９０５に格納された画像データは、メモリコントローラ１９０４を介して、ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６に入力される。ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６は、メモリ１９０５に格納された画像データが動画データである場合、時間的相関を利用した動き補償フレーム間予測符号化、空間的相関を利用した直交符号化としての、分布演算（Distributed Arithmetic：以下ＤＡと略称する）法を用いたＤＣＴによる符号化、発生符号量を抑えるために視覚的に影響の少ない高域の係数に符号を割り当てないよう重み付けを行う量子化、および発生頻度（出現確率）の偏りを利用して発生頻度の高い係数ほど短い符号列を割り当てるエントロピー符号化（可変長符号化）としてのハフマン符号化を行うＭＰＥＧ処理回路により、入力された動画データを符号化する。
一方、メモリ１９０５に格納された画像データが静止画データである場合、ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６は、ＤＡ法を用いたＤＣＴによる符号化、量子化、およびハフマン符号化を行うＪＰＥＧ処理回路により、入力された静止画データを符号化する。
ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６からの符号化データは、メモリ１９０５に格納されたり、メモリカードインターフェース（Ｉ／Ｆ）１９０７を介してメモリカード１９０８に記録される。なお、１９０９は、アナログ信号処理／タイミング信号発生部１９０３、ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６、およびメモリカードＩ／Ｆ１９０７の動作を制御するＣＰＵである。
ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６内のＭＰＥＧ処理回路には、上述したように、動き補償フレーム間予測符号化を行うためにＭＥ回路が含まれており、ＭＥ回路は、例えば１６×１６画素のマクロブロック単位で、既に符号化したフレームの中に類似した画像データがないか検索を行う。
このＭＥ回路が、例えば画像サイズが６４０×４８０画素（４０×３０マクロブロック）である１フレーム総当りの検索を行う場合、水平方向は６４０画素、垂直方向は４８０ラインをずらしながら、１６×１６画素の差分絶対値の総和（以下、ＳＡＤ）演算を行うものを想定する。この場合、１回のＳＡＤ演算は１マクロブロック当たり、差分演算が２５６回、総和をとる加算演算が２５６回の計５１２回の加減算処理が必要となり、よって、１フレーム当りでは、５１２×６４０×４８０×４０×３０＝１８８７４３６８００００回となって、約１８８７億回の加減算処理を行うことになる。
さらに、演算処理対象の画像データが、３０フレーム／秒の２／３が双方向予測のＢピクチャであるとすると、ＭＥ回路には、１秒当り１８８７億×３０×５／３＝９４３７１億回、という膨大な演算処理が必要になり、これがＭＰＥＧ処理回路における演算処理量（回路規模、消費電力）を決める要因となる。
また、ＭＰＥＧ／ＪＰＥＧエンコーダ１９０６内のＪＰＥＧ処理回路には、上述したように、空間的な冗長圧縮を行うためのＤＣＴ回路が含まれており、ＤＣＴ回路は、２次元の画素データ（ＹＵＶデータ）を８×８画素単位のブロックに分割して、水平方向および垂直方向に１次元のＤＣＴを行う。
このＤＣＴ回路が、例えば撮像素子として３００万画素クラスのＣＣＤからの画素データに対して、４フレーム／秒の連射モードで演算処理を行わなければならないブロック数は、１秒当り３００万×４／（８×８）≒１８７５００個となる。さらに、予め設定された符号量にするために、量子化マトリックスを調整して、サイドＤＣＴ以降に演算処理をやり直すと、演算処理を行うブロック数は、１８７５００×２＝３７５０００個となる。
ＤＣＴ回路は、ＭＰＥＧ処理回路にも含まれるが、画像サイズが６４０×４８０画素で、３０フレーム／秒であるとしても、このＤＣＴ回路が演算処理を行うブロック数は、１秒当り６４０×４８０×３０／（８×８）≒１４４０００個である。
したがって、ＪＰＥＧ処理回路に含まれるＤＣＴ回路は、ＭＰＥＧ処理回路に含まれるＤＣＴ回路の２．５倍以上の演算処理量が必要となり、これがＪＰＥＧ処理回路における演算処理量（回路規模、消費電力）を決める要因となる。
特開２００１−８４２４２号公報 特開平７−２６４５８３号公報 特開平１０−８３３８８号公報
上記のように、従来のＭＰＥＧ／ＪＰＥＧエンコーダでは、ＭＰＥＧ処理には高性能なＭＥ回路が必要で、またＪＰＥＧ処理には高い処理能力のＤＣＴ回路が必要であり、両方の回路をＭＰＥＧ処理とＪＰＥＧ処理とで相互に使用することはできず、別個に設けられているため、回路規模が肥大化し、消費電力も増大するという問題があった。
本発明は、かかる問題点に鑑みてなされたものであり、その目的は、必要な処理性能を単純な構成で無駄なく得ることができ、ＤＳＰ（Digital Signal Processor）と比較して処理性能毎の回路規模を小さくでき、低消費電力化を図った演算処理装置を提供することにある。
前記の目的を達成するため、本発明に係る演算処理装置は、対象画像データの処理モードに応じて演算回路を再構成する単位演算回路が複数個配列されて成る演算処理装置であって、単位演算回路は、第１入力端子から入力された画像データをクロック信号に同期して取り込む第１レジスタと、処理モードに応じた第１制御信号に従って、第２入力端子から入力された画像データまたは第３入力端子から入力された画像データを選択出力する第１セレクタと、第１レジスタから出力され一端に入力される画像データと、他端に入力される画像データとの加算をとり、第１出力端子に出力する加算器と、第１セレクタから出力される画像データをクロック信号に同期して取り込む第２レジスタと、処理モードに応じた第２制御信号に従って、第１レジスタから出力される画像データ、第２レジスタから出力される画像データ、第３入力端子からの画像データ、または固定データ（“０”）を選択出力する第２セレクタと、第２レジスタから出力される画像データを設定されたビット数だけ上位側または下位側にシフトするビットシフタと、ビットシフタから出力される画像データと第２セレクタから出力される画像または固定データとの差分をとり、第２出力端子に出力する減算器と、減算器から出力される差分データの絶対値をとる絶対値演算器と、処理モードに応じた第３制御信号に従って、第２レジスタから出力される画像データ、減算器から出力される差分データ、または絶対値演算器から出力される絶対値データを選択し、加算器の他端に出力する第３セレクタとを備え、複数の単位演算回路のうちの幾つかが組み合わされた演算処理ブロック毎に、処理モードに応じて異なる演算処理機能を実行することを特徴とする。
本発明に係る演算処理装置において、入力画像データの処理モードは、静止画の符号化（例えば、ＪＰＥＧ規格に準拠した符号化）に主眼を置いた符号化処理モードであり、演算処理ブロックのそれぞれは、分布演算法を用いた離散コサイン変換処理の部分機能、およびデジタルフィルタ処理機能を実行する。
この場合、離散コサイン変換処理の部分機能を実行する演算処理ブロックは、バタフライ演算回路を構成する。
また、本発明に係る演算処理装置において、入力画像データの処理モードは、動画像フレーム間の相関を用いた符号化（例えば、ＭＰＥＧ規格に準拠した符号化）に主眼を置いた符号化処理モードであり、演算処理ブロックのそれぞれは、動き補償フレーム間予測符号化処理における動き推定処理機能、分布演算法を用いた離散コサイン変換処理の部分機能、およびデジタルフィルタ処理機能を実行する。
この場合、離散コサイン変換処理の部分機能を実行する演算処理ブロックは、バタフライ演算回路を構成し、動き推定処理機能を実行する演算処理ブロックは、差分絶対値の総和をとる演算回路を構成する。
また、第１セレクタは、第２入力端子からの下位ビットの画像データを選択し、第２セレクタは、第１レジスタからの上位ビットの画像データを選択し、第３セレクタは、第２レジスタからの画像データを選択し、ビットシフタは０ビットシフトのスルー画像データを出力することにより、離散コサイン変換処理に対応した単位演算回路が再構成される。
また、第１セレクタは、第２入力端子からの比較対象の画像データを選択し、第２セレクタは、第３入力端子からの参照用の画像データを選択し、第３セレクタは、絶対値演算器からの絶対値データを選択し、ビットシフタは０ビットシフトのスルー画像データを出力することにより、動き推定処理に対応した単位演算回路が再構成される。
また、動き推定処理の部分機能を実行する演算処理ブロックは、動き推定を行う画素数に応じた個数の単位演算回路が行列状に配列されて成り、参照用の画像データが列方向の位置をずらしながら入力される。
また、動き推定を行う画素数に応じた個数の単位演算回路が行列状に配列されて成る演算処理ブロックが行方向で並列配置され、行方向で１画素ずつずらした参照用の画像データが、並列配置されたそれぞれの演算処理ブロックに入力されることが好ましい。
また、動き推定処理機能を実行する演算処理ブロックは、列方向の画素数に応じた個数の単位演算回路を、参照用の画像データを構成する参照用の画素データが入力される第３入力端子を共通に接続し、ある単位演算回路の第１出力端子を列方向で次の単位演算回路の第１入力端子に接続することにより、列方向の画素数に応じた個数の前記単位演算回路を列方向に接続して成るモジュールを行方向で並列配置したものである。
また、デジタルフィルタ処理機能を実行する演算処理ブロックは、クロック信号に同期して、当該演算処理ブロックに入力される画像データに２のｎ（ｎは整数）乗の係数を乗算するため、ｎの符号が正の場合は上位ビット側に、ｎの符号が負の場合は下位ビット側にｎの絶対値のビットだけシフトして、順次加算する演算回路を構成する。
この場合、デジタルフィルタ処理機能を実行する演算処理ブロックは、第１セレクタにより第３入力端子からの画像データが選択され、第２セレクタにより固定データが選択され、第３セレクタにより減算器からの画像データが選択される単位演算回路を、画像データが入力される第３入力端子を共通に接続し、ある単位演算回路の第１出力端子を列方向で次の単位演算回路の第１入力端子に接続することにより、タップ数に応じた個数だけ列方向に接続して成るモジュールを行方向で並列配置し、並列配置されたモジュールからの各出力データを、別の単位演算回路内の第１および第２レジスタを介して加算器により加算し、加算された画像データに対してさらに別の単位演算回路内の第２レジスタおよびビットシフタを介してディジタルフィルタ処理を行う。
本発明の演算処理装置によれば、必要な処理性能を単純な構成で無駄なく得ることができ、ＤＳＰと比較して処理性能毎の回路規模を小さくでき、低消費電力化を図ることが可能となる。
以下、本発明の好適な実施形態について、図面を参照しながら説明する。なお、本実施形態の演算処理装置は、背景技術において図１９を参照して説明したＤＳＣのＭＰＥＧ／ＪＰＥＧエンコーダに適用される。
図１は、本発明の一実施形態に係る演算処理装置における単位演算回路の構成例を示す回路ブロック図である。図１において、単位演算回路は、第１入力端子１１と、第２入力端子１２と、第３入力端子１３と、クロック信号（ＣＬＫ）入力端子１４と、制御信号（ＣＯＮＴ）入力端子１５と、第１レジスタ１６と、第２レジスタ１７と、第１セレクタ１８と、第２セレクタ１９と、第３セレクタ２０と、ビットシフタ２１と、減算器２２と、加算器２３と、絶対値演算器２４と、第１出力端子２５と、第２出力端子２６とで構成される。
第１レジスタ１６は、第１入力端子１１から入力された画像データをクロック信号ＣＬＫに同期して取り込む。第１セレクタ１８は、ＭＰＥＧまたはＪＰＥＧ規格に準拠した処理モードに応じた第１制御信号（ＣＯＮＴ１）に従って、第２入力端子１２から入力された画像データまたは第３入力端子１３から入力された画像データを選択出力する。
第２レジスタ１７は、第１セレクタ１８から出力される画像データをクロック信号ＣＬＫに同期して取り込む。第２セレクタ１９は、ＭＰＥＧまたはＪＰＥＧ規格に準拠した処理モードに応じた第２制御信号ＣＯＮＴ２に従って、第１レジスタ１６から出力される画像データ、第２レジスタ１７から出力される画像データ、第３入力端子１３からの画像データ、または固定データである“０”を選択出力する。
ビットシフタ２１は、第２レジスタ１７から出力される画像データを設定されたビット数だけ上位側または下位側にシフトする。減算器２２は、ビットシフタ２１から出力される画像データと第２セレクタ１９から出力される画像または固定データとの差分をとり、第２出力端子２６に出力する。
絶対値演算器２４は、減算器２２から出力される差分データの絶対値をとる。第３セレクタ２０は、ＭＰＥＧまたはＪＰＥＧ規格に準拠した処理モードに応じた第３制御信号ＣＯＮＴ３に従って、第２レジスタ１７から出力される画像データ、減算器２２から出力される差分データ、または絶対値演算器２４から出力される絶対値データを選択出力する。加算器２３は、第１レジスタ１６から出力される画像データと第３セレクタ２０から出力される画像データとの加算をとり、第１出力端子２５に出力する。
上記のように、単位演算回路は、対象画像データが静止画データである場合は、ＪＰＥＧ処理モードに応じて、また対象画像データが動画データである場合は、ＭＰＥＧ処理モードに応じて、第１セレクタ１８、第２セレクタ１９、および第３セレクタ２０により演算経路を切り換える。これにより、単位演算回路は、ＪＰＥＧ処理に必要である、ＤＡ法を用いたＤＣＴ回路に含まれるバタフライ演算回路の一部、およびデジタルフィルタの一部を構成したり、ＭＰＥＧ処理に必要である、ＭＥ回路を構成するＳＡＤ演算回路の一部、ＤＡ法を用いたＤＣＴ回路に含まれるバタフライ演算回路の一部、およびデジタルフィルタの一部を構成する。
図２Ａは、バタフライ演算回路の一部を構成する単位演算回路における第１セレクタ１８、第２セレクタ１９、第３セレクタ２０による演算経路の切り換えの様子を示す回路ブロック図で、図２Ｂは、図２Ａの構成を簡略化して示した図である。図２Ａにおいて、バタフライ演算回路の構成時には、第１セレクタ１８は、第２入力端子１２からの下位ビットの画像データを選択し、第２セレクタ１９は、第１レジスタ１６からの上位ビットの画像データを選択し、第３セレクタ２０は、第２レジスタ１７からの画像データを選択し、ビットシフタ２１は０ビットシフト（「＜＜０」で表す）の（ビットシフトしない）スルー画像データを出力する。
図３Ａは、ＳＡＤ演算回路の一部を構成する単位演算回路における第１セレクタ１８、第２セレクタ１９、第３セレクタ２０による演算経路の切り換えの様子を示す回路ブロック図で、図３Ｂは、図３Ａの構成を簡略化して示した図である。図３Ａにおいて、ＳＡＤ演算回路の構成時には、第１セレクタ１８は、第２入力端子１２からの比較対象の画像データを選択し、第２セレクタ１９は、第３入力端子１３からの参照用の画像データを選択し、第３セレクタ２０は、絶対値演算器２４からの絶対値データを選択し、ビットシフタ２１は０ビットシフト（「＜＜０」で表す）の（ビットシフトしない）スルー画像データを出力する。
図４Ａは、ディジタルフィルタの一部を構成する単位演算回路における第１セレクタ１８、第２セレクタ１９、第３セレクタ２０による演算経路の切り換えの様子を示す回路ブロック図で、図４Ｂは、図４Ａの構成を簡略化して示した図である。図４Ａにおいて、ディジタルフィルタの構成時には、第１セレクタ１８は、第３入力端子１３からの画像データを選択し、第２セレクタ１９は、固定データである“０”を選択し、第３セレクタ２０は、減算器２２からの差分データを選択する。
本実施形態の演算処理装置は、対象画像データの処理モードに応じて演算回路を再構成する単位演算回路が複数個行列状に配列されて構成され、複数の単位演算回路のうちの幾つかが組み合わされた演算処理ブロック毎に、処理モードに応じて異なる演算処理機能を実行する。
図５Ａおよび図５Ｂは、それぞれ、ＪＰＥＧ処理時およびＭＰＥＧ処理時における演算処理ブロックの構成例を示す模式図である。
図５Ａにおいて、ＪＰＥＧ処理時には、演算処理装置は、ＤＣＴ回路用の演算処理ブロック５１Ａと、ディジタルフィルタ用の演算処理ブロック５２Ａとで構成され、ＤＣＴ回路用の演算処理ブロック５１Ａに単位演算回路の大部分が割り当てられる。ＤＣＴ回路用の演算処理ブロック５１Ａは、バタフライ演算回路を構成する。
まず、ＤＣＴ回路用の演算処理ブロック５１Ａによるバタフライ演算回路の構成について説明する。
図６Ａは、８ビットのバタフライ演算回路を４個の単位演算回路で構成した場合の例を示す回路接続図で、図６Ｂは、図６Ａの構成を簡略化して示した図である。図６Ａにおいて、図２Ｂに示すように再構成された、第１単位演算回路６１、第２単位演算回路６２、第３単位演算回路６３、および第４単位演算回路６４には、ＤＡ法を用いたＤＣＴ回路の一部を構成する分布演算回路（不図示）からの入力ベクトルを構成する８個の要素Ｘｉ（ｉ＝０、１、…、７）が入力され、中間ベクトルを構成する８個の要素Ａｉ（ｉ＝０、１、…、７）が出力される。
図６Ａおよび図６Ｂから分かるように、入力ベクトルに対する中間ベクトルのバタフライ演算式は、以下のように表される。
Ａ０＝Ｘ０＋Ｘ７，Ａ４＝Ｘ０−Ｘ７
Ａ１＝Ｘ１＋Ｘ６，Ａ５＝Ｘ１−Ｘ６
Ａ２＝Ｘ２＋Ｘ５，Ａ６＝Ｘ２−Ｘ５
Ａ３＝Ｘ３＋Ｘ４，Ａ７＝Ｘ３−Ｘ４
なお、本実施形態では詳細に説明しないが、８行８列の離散コサイン行列と、８個の要素Ａｉ（ｉ＝０、１、…、７）で構成された中間ベクトルとの乗算により、１次元ＤＣＴ結果の一部を構成する８個の要素が得られる。
次に、図５Ａに示すディジタルフィルタ用の演算処理ブロック５２Ａによるデジタルフィルタの構成について説明する。
図７は、４タップのディジタルフィルタを、４個の単位演算回路からなる第１モジュール７１と、４個の単位演算回路からなる第２モジュール７２とで構成した場合の例を示す回路接続図である。第１モジュール７１および第２モジュール７２は、同じ構成を有し、画像データ（Ｄａｔａ ｉｎ）が入力される第３入力端子を共通に接続し、ある単位演算回路の第１出力端子を列方向で次の単位演算回路の第１入力端子に接続することにより、タップ数に応じた４個だけ単位演算回路を列方向に接続して構成される。各単位演算回路は、図４Ｂに示したように再構成される。
第１モジュール７１および第２モジュール７２は並列配置されて、並列配置された各モジュールからの各出力データは、別の単位演算回路内の第１レジスタ７３および第２レジスタ７４を介して加算器７５により加算され、加算された画像データに対してさらに別の単位演算回路内の第２レジスタ７６ビットシフタを介してディジタルフィルタ処理が施された画像データ（Ｄａｔａ ｏｕｔ）が出力される。図８は、図７の接続関係および構成を詳細に示す図である。なお、図８において、ＣＳは、単位演算回路の外部配線同士を接続するクロスバースイッチを示している。
図７および図８に示す４タップのデジタルフィルタは、クロック信号に同期して、入力画像データに２のｎ（ｎは整数）乗のフィルタ係数を乗算するため、ｎの符号が正の場合は上位ビット側に、ｎの符号が負の場合は下位ビット側にｎの絶対値のビットだけシフトして、順次加算していく構成をとる。
次に、ディジタルフィルタの動作について具体例を挙げて説明する。
図９は、隣接４画素に対してそれぞれ１／８、１／４（＝２／８）、１／２（＝４／８）、１／８のフィルタ係数を乗算して、４画素の加算を行うディジタルフィルタの構成を示す回路接続図である。図９において、ビットシフタ２１−１１、２１−１２、２１−１４、２１−２１、２１−２２、２１−２４には「０」が設定され、スルー状態となり、第２レジスタ１７−１１、１７−１２、１７−１４、１７−２１、１７−２２、１７−２４からの画像データに係数として「１（＝２0）」が乗算される。
また、ビットシフタ２１−１３、２１−２３には「＋１」が設定され、上位ビット側への１ビットシフトが行われ（「＜＜１」で表す）、第２レジスタ１７−１３、１７−２３からの画像データに係数として「２（＝２1）」が乗算される。
また、第２モジュール７２内の第２セレクタ２１−２１、２１−２４は、それぞれ、第２レジスタ１７−２１、１７−２４からの画像データを選択するように接続を切り換える。さらに、ビットシフタ７７には「−３」が設定され、下位ビット側への３ビットシフトが行われ（「＞＞３」で表す）、加算器７６からの画像データに係数として「１／８（＝２-3）」が乗算される。
図１０は、図９における各レジスタの出力データ（Ｒｅｇ）とビットシフタ７７の出力データ（Ｄａｔａ ｏｕｔ）のクロック信号ＣＬＫに同期した変化を示す図である。なお、図１０において、ＣＬＫ０、ＣＬＫ１、ＣＬＫ２、…、ＣＬＫ５は、クロック信号ＣＬＫの立ち上がり時点を示し、ＣＬＫ０を基準としてＣＬＫ１は１クロック周期後のＣＬＫの立ち上がり時点を、ＣＬＫ２は２クロック周期後のＣＬＫの立ち上がり時点を、ＣＬＫ５は５クロック周期後のＣＬＫの立ち上がり時点を示している。また、例えばＲｅｇ１６−１２は、第１レジスタ１６−１２からの出力データを示している。また、ｄ０、ｄ１、…、ｄ４は画素データを示している。
図１０に示すように、最終の出力データＤａｔａ ｏｕｔは、ＣＬＫ４の時点では、ｄ０／８＋ｄ１／４＋ｄ２／２＋ｄ３／８となり、ＣＬＫ５の時点では、ｄ１／８＋ｄ２／４＋ｄ３／２＋ｄ４／８となって、隣接４画素に対してそれぞれ１／８、１／４、１／２、１／８のフィルタ係数が乗算されて、隣接４画素が加算されて、ディジタルフィルタ処理が行われている。
次に、図５Ｂに戻って、ＭＰＥＧ処理時における演算処理ブロックの構成について説明する。
図５Ｂにおいて、ＭＰＥＧ処理時には、演算処理装置は、ＤＣＴ回路用の演算処理ブロック５１Ｂと、ＭＥ回路用の演算処理ブロック５３と、ディジタルフィルタ用の演算処理ブロック５２Ｂとで構成され、ＭＥ回路用の演算処理ブロック５３に単位演算回路の多くが割り当てられる。
なお、ＤＣＴ回路用の演算処理ブロック５１Ｂにより構成されるバタフライ演算回路については、処理能力に応じて割り当てられる単位演算回路の個数が異なるだけで、ＪＰＥＧ処理時におけるＤＣＴ回路用の演算処理ブロック５１Ａにより構成されるバタフライ演算回路とその構成および機能は同じであるので説明を省略する。また、ディジタルフィルタ用の演算処理ブロック５２Ｂについては、ＪＰＥＧ処理時におけるディジタルフィルタ用の演算処理ブロック５２Ａとその構成および機能は同じであるので、やはり説明を省略する。
ＭＥ回路用の演算処理ブロック５３は、ＳＡＤ演算回路を構成する。以下では、ＭＥ回路用の演算処理ブロック５３によるＳＡＤ演算回路について説明する。
図１１は、４個の単位演算回路が列方向に接続されて成る第１モジュール１１０１と、それぞれ第１モジュール１１０１と同じ構成を有する、第２モジュール１１０２と、第３モジュール１１０３と、第４モジュール１１０４とを行方向に並列配置することで、４画素×４ラインからなるＭＥ基本単位を構成した場合の例を示す回路接続図である。なお、図１１には、第２モジュール１１０２、第３モジュール１１０３、および第４モジュール１１０４の内部構成は、第１モジュール１１０１と同じであるため図示していない。
図１１において、第１モジュール１１０１、第２モジュール１１０２、第３モジュール１１０３、および第４モジュール１１０４は、それぞれ、参照用の画像データＲｅｆ．Ｄａｔａ ｉｎ０、Ｒｅｆ．Ｄａｔａ ｉｎ１、Ｒｅｆ．Ｄａｔａ ｉｎ２、Ｒｅｆ．Ｄａｔａ ｉｎ３を構成する参照用の画素データが、参照用画像メモリ（不図示）から垂直方向に位置をずらしながら読み出されて入力される第３入力端子を共通に接続し、ある単位演算回路の第１出力端子を列方向で次の単位演算回路の第１入力端子に接続することにより、４個の単位演算回路を列方向に接続して構成される。各単位演算回路は、図３Ｂに示したように再構成される。なお、図示はしていないが、各モジュールの第２レジスタには、第２入力端子から入力された比較対照の画素データが格納される。
次に、図１２を参照して、図１１の回路動作について説明する。
図１２において、第１モジュール１１０１の第２レジスタには、それぞれ、第１行第１列の比較対象の画素データであるＲｅｇ＿ｙ０ｘ０が、第２行第１列の比較対象の画素データであるＲｅｇ＿ｙ１ｘ０が、第３行第１列の比較対象の画素データであるＲｅｇ＿ｙ２ｘ０が、第４行第１列の比較対象の画素データであるＲｅｇ＿ｙ３ｘ０が格納されている。また、第１モジュール１１０１において、Ｒｅｇ０＿０、Ｒｅｇ０＿１、Ｒｅｇ０＿２、Ｒｅｇ０＿３は、各第１レジスタからの出力データを示す。
同様に、第２モジュール１１０２の第２レジスタには、それぞれ、第１行第２列の比較対象の画素データであるＲｅｇ＿ｙ０ｘ１が、第２行第２列の比較対象の画素データであるＲｅｇ＿ｙ１ｘ１が、第３行第２列の比較対象の画素データであるＲｅｇ＿ｙ２ｘ１が、第４行第２列の比較対象の画素データであるＲｅｇ＿ｙ３ｘ１が格納されている。また、第２モジュール１１０２において、Ｒｅｇ１＿０、Ｒｅｇ１＿１、Ｒｅｇ１＿２、Ｒｅｇ１＿３は、各第１レジスタ（不図示）からの出力データを示す。
同様に、第３モジュール１１０３の第２レジスタには、それぞれ、第１行第３列の比較対象の画素データであるＲｅｇ＿ｙ０ｘ２が、第２行第３列の比較対象の画素データであるＲｅｇ＿ｙ１ｘ２が、第３行第３列の比較対象の画素データであるＲｅｇ＿ｙ２ｘ２が、第４行第３列の比較対象の画素データであるＲｅｇ＿ｙ３ｘ２が格納されている。また、第３モジュール１１０３において、Ｒｅｇ２＿０、Ｒｅｇ２＿１、Ｒｅｇ２＿２、Ｒｅｇ２＿３は、各第１レジスタ（不図示）からの出力データを示す。
同様に、第４モジュール１１０４の第２レジスタには、それぞれ、第１行第４列の比較対象の画素データであるＲｅｇ＿ｙ０ｘ３が、第２行第４列の比較対象の画素データであるＲｅｇ＿ｙ１ｘ３が、第３行第４列の比較対象の画素データであるＲｅｇ＿ｙ２ｘ３が、第４行第４列の比較対象の画素データであるＲｅｇ＿ｙ３ｘ３が格納されている。また、第４モジュール１１０４において、Ｒｅｇ３＿０、Ｒｅｇ３＿１、Ｒｅｇ３＿２、Ｒｅｇ３＿３は、各第１レジスタ（不図示）からの出力データを示す。
第１モジュール１１０１から出力される第１列４ラインの差分絶対値和データであるＲｅｇ０＿３と、第２モジュール１１０２から出力される第２列４ラインの差分絶対値和データであるＲｅｇ１＿３と、第３モジュール１１０３から出力される第３列４ラインの差分絶対値和データであるＲｅｇ２＿３と、第４モジュール１１０４から出力される第４列４ラインの差分絶対値和データであるＲｅｇ３＿３は、加算器１２０１に入力されて、４画素×４ラインの差分絶対値の総和（ＳＡＤ ｏｕｔ）がとられる。この差分絶対値の総和である画像比較評価値が小さいほど、比較対象画素と参照用画素とが類似していることを示す。
図１３は、４画素×４ラインの比較対象画素の配置をレジスタで代表させて表し、参照用画像メモリから、垂直方向に位置をずらしながら探索したい範囲内の参照用の画素データを読み出して探索を行う様子を示す模式図である。
図１４Ａは、図１０と同様に、図１２に示す第１モジュール１１０１内の各第１レジスタの出力データＲｅｇ０＿０、Ｒｅｇ０＿１、Ｒｅｇ０＿２、Ｒｅｇ０＿３のクロック信号ＣＬＫに同期した変化を示す図である。図１４Ａにおいて、各第１レジスタの出力データにおける記号ＳＡＤａｂｃは、「ａ」を行（ライン）番号（垂直方向位置）、「ｂ」を列（モジュール）番号（水平方向位置）、「ｃ」を差分絶対値演算のクロック信号立ち上がり時点、参照用の画素データをＲｅｆ＿ｙａｘｂとして、以下のように表される。
ＳＡＤ０００＝（Ｒｅｇ＿ｙ０ｘ０）−（Ｒｅｆ＿ｙ０ｘ０）
ＳＡＤ１０１＝（Ｒｅｇ＿ｙ１ｘ０）−（Ｒｅｆ＿ｙ１ｘ０）
ＳＡＤ２０２＝（Ｒｅｇ＿ｙ２ｘ０）−（Ｒｅｆ＿ｙ２ｘ０）
ＳＡＤ３０３＝（Ｒｅｇ＿ｙ３ｘ０）−（Ｒｅｆ＿ｙ３ｘ０）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ００１＝（Ｒｅｇ＿ｙ０ｘ０）−（Ｒｅｆ＿ｙ１ｘ０）
ＳＡＤ１０２＝（Ｒｅｇ＿ｙ１ｘ０）−（Ｒｅｆ＿ｙ２ｘ０）
ＳＡＤ２０３＝（Ｒｅｇ＿ｙ２ｘ０）−（Ｒｅｆ＿ｙ３ｘ０）
ＳＡＤ３０４＝（Ｒｅｇ＿ｙ３ｘ０）−（Ｒｅｆ＿ｙ４ｘ０）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ００２＝（Ｒｅｇ＿ｙ０ｘ０）−（Ｒｅｆ＿ｙ２ｘ０）
ＳＡＤ１０３＝（Ｒｅｇ＿ｙ１ｘ０）−（Ｒｅｆ＿ｙ３ｘ０）
ＳＡＤ２０４＝（Ｒｅｇ＿ｙ２ｘ０）−（Ｒｅｆ＿ｙ４ｘ０）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ００３＝（Ｒｅｇ＿ｙ０ｘ０）−（Ｒｅｆ＿ｙ３ｘ０）
ＳＡＤ１０４＝（Ｒｅｇ＿ｙ１ｘ０）−（Ｒｅｆ＿ｙ４ｘ０）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ００４＝（Ｒｅｇ＿ｙ０ｘ０）−（Ｒｅｆ＿ｙ４ｘ０）
また、図１４Ｂは、図１２に示す第２モジュール１１０２内の各第１レジスタの出力データＲｅｇ１＿０、Ｒｅｇ１＿１、Ｒｅｇ１＿２、Ｒｅｇ１＿３のクロック信号ＣＬＫに同期した変化を示す図である。図１４Ｂにおいて、各第１レジスタの出力データにおける記号ＳＡＤａｂｃは、図１４Ａと同様に、以下のように表される。
ＳＡＤ０１０＝（Ｒｅｇ＿ｙ０ｘ１）−（Ｒｅｆ＿ｙ０ｘ１）
ＳＡＤ１１１＝（Ｒｅｇ＿ｙ１ｘ１）−（Ｒｅｆ＿ｙ１ｘ１）
ＳＡＤ２１２＝（Ｒｅｇ＿ｙ２ｘ１）−（Ｒｅｆ＿ｙ２ｘ１）
ＳＡＤ３１３＝（Ｒｅｇ＿ｙ３ｘ１）−（Ｒｅｆ＿ｙ３ｘ１）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０１１＝（Ｒｅｇ＿ｙ０ｘ１）−（Ｒｅｆ＿ｙ１ｘ１）
ＳＡＤ１１２＝（Ｒｅｇ＿ｙ１ｘ１）−（Ｒｅｆ＿ｙ２ｘ１）
ＳＡＤ２１３＝（Ｒｅｇ＿ｙ２ｘ１）−（Ｒｅｆ＿ｙ３ｘ１）
ＳＡＤ３１４＝（Ｒｅｇ＿ｙ３ｘ１）−（Ｒｅｆ＿ｙ４ｘ１）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０１２＝（Ｒｅｇ＿ｙ０ｘ１）−（Ｒｅｆ＿ｙ２ｘ１）
ＳＡＤ１１３＝（Ｒｅｇ＿ｙ１ｘ１）−（Ｒｅｆ＿ｙ３ｘ１）
ＳＡＤ２１４＝（Ｒｅｇ＿ｙ２ｘ１）−（Ｒｅｆ＿ｙ４ｘ１）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０１３＝（Ｒｅｇ＿ｙ０ｘ１）−（Ｒｅｆ＿ｙ３ｘ１）
ＳＡＤ１１４＝（Ｒｅｇ＿ｙ１ｘ１）−（Ｒｅｆ＿ｙ４ｘ１）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０１４＝（Ｒｅｇ＿ｙ０ｘ１）−（Ｒｅｆ＿ｙ４ｘ１）
また、図１４Ｃは、図１２に示す第３モジュール１１０３内の各第１レジスタの出力データＲｅｇ２＿０、Ｒｅｇ２＿１、Ｒｅｇ２＿２、Ｒｅｇ２＿３のクロック信号ＣＬＫに同期した変化を示す図である。図１４Ｃにおいて、各第１レジスタの出力データにおける記号ＳＡＤａｂｃは、図１４Ａと同様に、以下のように表される。
ＳＡＤ０２０＝（Ｒｅｇ＿ｙ０ｘ２）−（Ｒｅｆ＿ｙ０ｘ２）
ＳＡＤ１２１＝（Ｒｅｇ＿ｙ１ｘ２）−（Ｒｅｆ＿ｙ１ｘ２）
ＳＡＤ２２２＝（Ｒｅｇ＿ｙ２ｘ２）−（Ｒｅｆ＿ｙ２ｘ２）
ＳＡＤ３２３＝（Ｒｅｇ＿ｙ３ｘ２）−（Ｒｅｆ＿ｙ３ｘ２）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０２１＝（Ｒｅｇ＿ｙ０ｘ２）−（Ｒｅｆ＿ｙ１ｘ２）
ＳＡＤ１２２＝（Ｒｅｇ＿ｙ１ｘ２）−（Ｒｅｆ＿ｙ２ｘ２）
ＳＡＤ２２３＝（Ｒｅｇ＿ｙ２ｘ２）−（Ｒｅｆ＿ｙ３ｘ２）
ＳＡＤ３２４＝（Ｒｅｇ＿ｙ３ｘ２）−（Ｒｅｆ＿ｙ４ｘ２）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０２２＝（Ｒｅｇ＿ｙ０ｘ２）−（Ｒｅｆ＿ｙ２ｘ２）
ＳＡＤ１２３＝（Ｒｅｇ＿ｙ１ｘ２）−（Ｒｅｆ＿ｙ３ｘ２）
ＳＡＤ２２４＝（Ｒｅｇ＿ｙ２ｘ２）−（Ｒｅｆ＿ｙ４ｘ２）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０２３＝（Ｒｅｇ＿ｙ０ｘ２）−（Ｒｅｆ＿ｙ３ｘ２）
ＳＡＤ１２４＝（Ｒｅｇ＿ｙ１ｘ２）−（Ｒｅｆ＿ｙ４ｘ２）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０２４＝（Ｒｅｇ＿ｙ０ｘ２）−（Ｒｅｆ＿ｙ４ｘ２）
また、図１４Ｄは、図１２に示す第４モジュール１１０４内の各第１レジスタの出力データＲｅｇ３＿０、Ｒｅｇ３＿１、Ｒｅｇ３＿２、Ｒｅｇ３＿３のクロック信号ＣＬＫに同期した変化を示す図である。図１４Ｄにおいて、各第１レジスタの出力データにおける記号ＳＡＤａｂｃは、図１４Ａと同様に、以下のように表される。
ＳＡＤ０３０＝（Ｒｅｇ＿ｙ０ｘ３）−（Ｒｅｆ＿ｙ０ｘ３）
ＳＡＤ１３１＝（Ｒｅｇ＿ｙ１ｘ３）−（Ｒｅｆ＿ｙ１ｘ３）
ＳＡＤ２３２＝（Ｒｅｇ＿ｙ２ｘ３）−（Ｒｅｆ＿ｙ２ｘ３）
ＳＡＤ３３３＝（Ｒｅｇ＿ｙ３ｘ３）−（Ｒｅｆ＿ｙ３ｘ３）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０３１＝（Ｒｅｇ＿ｙ０ｘ３）−（Ｒｅｆ＿ｙ１ｘ３）
ＳＡＤ１３２＝（Ｒｅｇ＿ｙ１ｘ３）−（Ｒｅｆ＿ｙ２ｘ３）
ＳＡＤ２３３＝（Ｒｅｇ＿ｙ２ｘ３）−（Ｒｅｆ＿ｙ３ｘ３）
ＳＡＤ３３４＝（Ｒｅｇ＿ｙ３ｘ３）−（Ｒｅｆ＿ｙ４ｘ３）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０３２＝（Ｒｅｇ＿ｙ０ｘ３）−（Ｒｅｆ＿ｙ２ｘ３）
ＳＡＤ１３３＝（Ｒｅｇ＿ｙ１ｘ３）−（Ｒｅｆ＿ｙ３ｘ３）
ＳＡＤ２３４＝（Ｒｅｇ＿ｙ２ｘ３）−（Ｒｅｆ＿ｙ４ｘ３）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０３３＝（Ｒｅｇ＿ｙ０ｘ３）−（Ｒｅｆ＿ｙ３ｘ３）
ＳＡＤ１３４＝（Ｒｅｇ＿ｙ１ｘ３）−（Ｒｅｆ＿ｙ４ｘ３）
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
ＳＡＤ０３４＝（Ｒｅｇ＿ｙ０ｘ３）−（Ｒｅｆ＿ｙ４ｘ３）
図１４Ａ、図１４Ｂ、図１４Ｃ、および図１４Ｄに示すように、クロック信号ＣＬＫのＣＬＫ３での立ち上がり時点において、第１モジュール１１０１から出力されるデータＲｅｇ０＿３は、ＳＡＤ３０３＋ＳＡＤ２０２＋ＳＡＤ１０１＋ＳＡＤ０００となり、第２モジュール１１０２から出力されるデータＲｅｇ１＿３は、ＳＡＤ３１３＋ＳＡＤ２１２＋ＳＡＤ１１１＋ＳＡＤ０１０となり、第３モジュール１１０３から出力されるデータＲｅｇ２＿３は、ＳＡＤ３２３＋ＳＡＤ２２２＋ＳＡＤ１２１＋ＳＡＤ０２０となり、第４モジュール１１０４から出力されるデータＲｅｇ３＿３は、ＳＡＤ３３３＋ＳＡＤ２３２＋ＳＡＤ１３１＋ＳＡＤ０３０となる。したがって、加算器１２０１（図１２）から出力される差分絶対値の総和ＳＡＤ ｏｕｔは、
（ＳＡＤ３０３＋ＳＡＤ２０２＋ＳＡＤ１０１＋ＳＡＤ０００）
＋（ＳＡＤ３１３＋ＳＡＤ２１２＋ＳＡＤ１１１＋ＳＡＤ０１０）
＋（ＳＡＤ３２３＋ＳＡＤ２２２＋ＳＡＤ１２１＋ＳＡＤ０２０）
＋（ＳＡＤ３３３＋ＳＡＤ２３２＋ＳＡＤ１３１＋ＳＡＤ０３０）
となる。
また、クロック信号ＣＬＫのＣＬＫ４での立ち上がり時点において、第１モジュール１１０１から出力されるデータＲｅｇ０＿３は、ＳＡＤ３０４＋ＳＡＤ２０３＋ＳＡＤ１０２＋ＳＡＤ００１となり、第２モジュール１１０２から出力されるデータＲｅｇ１＿３は、ＳＡＤ３１４＋ＳＡＤ２１３＋ＳＡＤ１１２＋ＳＡＤ０１１となり、第３モジュール１１０３から出力されるデータＲｅｇ２＿３は、ＳＡＤ３２４＋ＳＡＤ２２３＋ＳＡＤ１２２＋ＳＡＤ０２１となり、第４モジュール１１０４から出力されるデータＲｅｇ３＿３は、ＳＡＤ３３４＋ＳＡＤ２３３＋ＳＡＤ１３２＋ＳＡＤ０３１となる。したがって、加算器１２０１（図１２）から出力される差分絶対値の総和ＳＡＤ ｏｕｔは、
（ＳＡＤ３０４＋ＳＡＤ２０３＋ＳＡＤ１０２＋ＳＡＤ００１）
＋（ＳＡＤ３１４＋ＳＡＤ２１３＋ＳＡＤ１１２＋ＳＡＤ０１１）
＋（ＳＡＤ３２４＋ＳＡＤ２２３＋ＳＡＤ１２２＋ＳＡＤ０２１）
＋（ＳＡＤ３３４＋ＳＡＤ２３３＋ＳＡＤ１３２＋ＳＡＤ０３１）
となる。
図１５は、図１２または図１３に示す構成により、ＣＬＫ３およびＣＬＫ４の時点で得られるＳＡＤ ｏｕｔの範囲を示す模式図である。
次に、ＭＥ回路用の演算処理ブロック５３（図５Ｂ）によるＳＡＤ演算回路の変形例について説明する。
図１６は、図１２に示す４画素×４ラインのＭＥ基本単位を行方向で２つ並列配置し、行方向で１画素ずつずらした参照用の画像データを、並列配置されたそれぞれのＭＥ基本単位に入力する場合の構成を示す模式図である。
図１６において、第１ＭＥ基本単位１６０１には、参照用の画像データＲｅｆ．Ｄａｔａ ｉｎ０、Ｒｅｆ．Ｄａｔａ ｉｎ１、Ｒｅｆ．Ｄａｔａ ｉｎ２、Ｒｅｆ．Ｄａｔａ ｉｎ３が入力され、加算器１６０３から差分絶対値の総和ＳＡＤ ｏｕｔ０が出力される。また、第２ＭＥ基本単位１６０２には、第１ＭＥ基本単位１６０１とは行方向で１画素ずつずらした参照用の画像データＲｅｆ．Ｄａｔａ ｉｎ１、Ｒｅｆ．Ｄａｔａ ｉｎ２、Ｒｅｆ．Ｄａｔａ ｉｎ３、Ｒｅｆ．Ｄａｔａ ｉｎ４が入力され、加算器１６０４から差分絶対値の総和ＳＡＤ ｏｕｔ１が出力される。
図１７は、図１６に示す構成を用いて、参照用画像メモリから、垂直方向に位置をずらしながら探索したい範囲内の参照用の画素データを読み出して探索を行う様子を示す模式図である。また、図１８は、図１６または図１７に示す構成により、ＣＬＫ３およびＣＬＫ４の時点で得られるＳＡＤ ｏｕｔの範囲を示す模式図である。
このように構成することで、参照画像用メモリの読み出しデータ幅が広いほど、水平方向（行方向）探索の並列処理を行うことができる。例えば、１画素を８ビットとして、６４ビット単位でのメモリ読み出しの場合、４画素×４ラインがＭＥ基本単位であるので、水平方向（行方向）に１画素ずつずらした基本単位で、５つ分同時に探索を行うことができる。すなわち、５つ分の中心位置を探索の水平方向の中心とすると、±２画素の探索範囲を一度に処理できることになる。
本発明の演算処理装置は、必要な処理性能を単純な構成で無駄なく得ることができ、ＤＳＰと比較して処理性能毎の回路規模を小さくでき、低消費電力化を図ることが可能であるという利点を有し、ＭＰＥＧとＪＰＥＧの両方に対応した動画撮影機能付きＤＳＣ等のエンコーダＬＳＩ等に適用できる。
本発明の第１の実施形態に係る演算処理装置における単位演算回路の構成例を示す回路ブロック図 バタフライ演算回路の一部を構成する単位演算回路における第１セレクタ、第２セレクタ、第３セレクタによる演算経路の切り換えの様子を示す回路ブロック図 図２Ａの構成を簡略化して示した図 ＳＡＤ演算回路の一部を構成する単位演算回路における第１セレクタ、第２セレクタ、第３セレクタによる演算経路の切り換えの様子を示す回路ブロック図 図３Ａの構成を簡略化して示した図 ディジタルフィルタの一部を構成する単位演算回路における第１セレクタ、第２セレクタ、第３セレクタによる演算経路の切り換えの様子を示す回路ブロック図 図４Ａの構成を簡略化して示した図 ＪＰＥＧ処理時における演算処理ブロックの構成例を示す模式図 ＭＰＥＧ処理時における演算処理ブロックの構成例を示す模式図 ８ビットのバタフライ演算回路を４個の単位演算回路で構成した場合の例を示す回路接続図 図６Ａの構成を簡略化して示した図 ４タップのディジタルフィルタを、４個の単位演算回路からなる第１モジュールと、４個の単位演算回路からなる第２モジュールとで構成した場合の例を示す回路接続図 図７の接続関係および構成を詳細に示す図 隣接４画素に対してそれぞれ１／８、１／４（＝２／８）、１／２（＝４／８）、１／８のフィルタ係数を乗算して、４画素の加算を行うディジタルフィルタの構成を示す回路接続図 図９における各レジスタの出力データ（Ｒｅｇ）とビットシフタ７７の出力データ（Ｄａｔａ ｏｕｔ）のクロック信号ＣＬＫに同期した変化を示す図 ４個の単位演算回路が列方向に接続されて成る第１モジュールと、それぞれ第１モジュールと同じ構成を有する、第２モジュールと、第３モジュールと、第４モジュールとを行方向に並列配置することで、４×４画素からなるＭＥ基本単位を構成した場合の例を示す回路接続図 図１１の回路動作を説明するための図 ４画素×４ラインの比較対象画素の配置をレジスタで代表させて表し、参照用画像メモリから、垂直方向に位置をずらしながら探索したい範囲内の参照用の画素データを読み出して探索を行う様子を示す模式図 図１２に示す第１モジュール内の各第１レジスタの出力データＲｅｇ０＿０、Ｒｅｇ０＿１、Ｒｅｇ０＿２、Ｒｅｇ０＿３のクロック信号ＣＬＫに同期した変化を示す図 図１２に示す第２モジュール内の各第１レジスタの出力データＲｅｇ１＿０、Ｒｅｇ１＿１、Ｒｅｇ１＿２、Ｒｅｇ１＿３のクロック信号ＣＬＫに同期した変化を示す図 図１２に示す第３モジュール内の各第１レジスタの出力データＲｅｇ２＿０、Ｒｅｇ２＿１、Ｒｅｇ２＿２、Ｒｅｇ２＿３のクロック信号ＣＬＫに同期した変化を示す図 図１２に示す第３モジュール内の各第１レジスタの出力データＲｅｇ３＿０、Ｒｅｇ３＿１、Ｒｅｇ３＿２、Ｒｅｇ３＿３のクロック信号ＣＬＫに同期した変化を示す図 図１２に示す構成により、ＣＬＫ３およびＣＬＫ４の時点で得られるＳＡＤ ｏｕｔの範囲を示す模式図 図１２に示す４画素×４ラインのＭＥ基本単位を行方向で２つ並列配置し、行方向で１画素ずつずらした参照用の画像データを、並列配置されたそれぞれのＭＥ基本単位に入力する場合の構成を示す模式図 図１５に示す構成を用いて、参照用画像メモリから、垂直方向に位置をずらしながら探索したい範囲内の参照用の画素データを読み出して探索を行う様子を示す模式図 図１６に示す構成により、ＣＬＫ３およびＣＬＫ４の時点で得られるＳＡＤ ｏｕｔ０およびＳＡＤ ｏｕｔ１の範囲を示す模式図 ＭＰＥＧ／ＪＰＥＧエンコーダを有するＤＳＣの一構成例を示すブロック図
符号の説明
１１ 第１入力端子
１２ 第２入力端子
１３ 第３入力端子
１４ クロック信号（ＣＬＫ）入力端子
１５ 制御信号（ＣＯＮＴ）入力端子
１６、１６−１２、１６−１３、１６−１４、１６−２２、１６−２３、１６−２４ 第１レジスタ
１７、１７−１１、１７−１２、１７−１３、１７−１４、１７−２１、１７−２２、１７−２３、１７−２４ 第２レジスタ
１８ 第１セレクタ
１９ 第２セレクタ
２０ 第３セレクタ
２１、２１−１１、２１−１２、２１−１３、２１−１４、２１−２１、２１−２２、２１−２３、２１−２４ ビットシフタ
２２ 減算器
２３ 加算器
２４ 絶対値演算器
２５ 第１出力端子
２６ 第２出力端子
５１Ａ ＪＰＥＧ処理時のＤＣＴ回路用の演算処理ブロック
５２Ａ ＪＰＥＧ処理時のディジタルフィルタ用の演算処理ブロック
５１Ｂ ＭＰＥＧ処理時のＤＣＴ回路用の演算処理ブロック
５２Ｂ ＭＰＥＧ処理時のディジタルフィルタ用の演算処理ブロック
５３ ＭＰＥＧ処理時のＭＥ回路用の演算処理ブロック
６１ バタフライ演算回路を構成する第１単位演算回路
６２ バタフライ演算回路を構成する第２単位演算回路
６３ バタフライ演算回路を構成する第３単位演算回路
６４ バタフライ演算回路を構成する第４単位演算回路
７１ ディジタルフィルタを構成する第１モジュール
７２ ディジタルフィルタを構成する第２モジュール
７３ 第１レジスタ
７４ 第２レジスタ
７５ 加算器
７６ 第２レジスタ
７７ ビットシフタ
１１０１ ＳＡＤ演算回路を構成する第１モジュール
１１０２ ＳＡＤ演算回路を構成する第２モジュール
１１０３ ＳＡＤ演算回路を構成する第３モジュール
１１０４ ＳＡＤ演算回路を構成する第４モジュール
１２０１ 加算器
１６０１ 第１ＭＥ基本単位
１６０２ 第２ＭＥ基本単位
１６０３、１６０４ 加算器
１９０１ 光学部
１９０２ 撮像素子（ＣＣＤ）
１９０３ アナログ信号処理／タイミング信号発生部（ＣＤＳ、ＡＧＣ、Ａ／Ｄ、ＴＧ）
１９０４ メモリコントローラ
１９０５ メモリ
１９０６ ＭＰＥＧ／ＪＰＥＧエンコーダ
１９０７ メモリカードＩ／Ｆ
１９０８ メモリカード
１９０９ ＣＰＵ

Claims (12)

  1. 対象画像データの処理モードに応じて演算回路を再構成する単位演算回路が複数個配列されて成る演算処理装置であって、
    前記単位演算回路は、
    第１入力端子から入力された画像データをクロック信号に同期して取り込む第１レジスタと、
    前記処理モードに応じた第１制御信号に従って、第２入力端子から入力された画像データまたは第３入力端子から入力された画像データを選択出力する第１セレクタと、
    前記第１レジスタから出力され一端に入力される画像データと、他端に入力される画像データとの加算をとり、第１出力端子に出力する加算器と、
    前記第１セレクタから出力される画像データを前記クロック信号に同期して取り込む第２レジスタと、
    前記処理モードに応じた第２制御信号に従って、前記第１レジスタから出力される画像データ、前記第２レジスタから出力される画像データ、前記第３入力端子からの画像データ、または固定データを選択出力する第２セレクタと、
    前記第２レジスタから出力される画像データを設定されたビット数だけ上位側または下位側にシフトするビットシフタと、
    前記ビットシフタから出力される画像データと前記第２セレクタから出力される画像または固定データとの差分をとり、第２出力端子に出力する減算器と、
    前記減算器から出力される差分データの絶対値をとる絶対値演算器と、
    前記処理モードに応じた第３制御信号に従って、前記第２レジスタから出力される画像データ、前記減算器から出力される差分データ、または前記絶対値演算器から出力される絶対値データを選択し、前記加算器の他端に出力する第３セレクタとを備え、
    前記複数の単位演算回路のうちの幾つかが組み合わされた演算処理ブロック毎に、前記処理モードに応じて異なる演算処理機能を実行することを特徴とする演算処理装置。
  2. 前記対象画像データの処理モードは、静止画の符号化に主眼を置いた符号化処理モードであり、前記演算処理ブロックのそれぞれは、分布演算法を用いた離散コサイン変換処理の部分機能、およびデジタルフィルタ処理機能を実行する請求項１記載の演算処理装置。
  3. 前記離散コサイン変換処理機能を実行する演算処理ブロックは、バタフライ演算回路を構成する請求項２記載の演算処理装置。
  4. 前記対象画像データの処理モードは、動画像フレーム間の相関を用いた符号化に主眼を置いた符号化処理モードであり、前記演算処理ブロックのそれぞれは、動き補償フレーム間予測符号化処理における動き推定処理機能、分布演算法を用いた離散コサイン変換処理の部分機能、およびデジタルフィルタ処理機能を実行する請求項１記載の演算処理装置。
  5. 前記離散コサイン変換処理の部分機能を実行する演算処理ブロックは、バタフライ演算回路を構成し、前記動き推定処理機能を実行する演算処理ブロックは、差分絶対値の総和をとる演算回路を構成する請求項４記載の演算処理装置。
  6. 前記第１セレクタは、前記第２入力端子からの下位ビットの画像データを選択し、前記第２セレクタは、前記第１レジスタからの上位ビットの画像データを選択し、前記第３セレクタは、前記第２レジスタからの画像データを選択し、前記ビットシフタは０ビットシフトのスルー画像データを出力することにより、前記離散コサイン変換処理に対応した前記単位演算回路が再構成される請求項２から５のいずれか一項記載の演算処理装置。
  7. 前記第１セレクタは、前記第２入力端子からの比較対象の画像データを選択し、前記第２
    セレクタは、前記第３入力端子からの参照用の画像データを選択し、前記第３セレクタは、前記絶対値演算器からの絶対値データを選択し、前記ビットシフタは０ビットシフトのスルー画像データを出力することにより、前記動き推定処理に対応した前記単位演算回路が再構成される請求項４または５記載の演算処理装置。
  8. 前記動き推定処理機能を実行する演算処理ブロックは、動き推定を行う画素数に応じた個数の前記単位演算回路が行列状に配列されて成り、参照用の画像データが列方向の位置をずらしながら入力される請求項４、５または７記載の演算処理装置。
  9. 前記動き推定を行う画素数に応じた個数の前記単位演算回路が行列状に配列されて成る前記演算処理ブロックが行方向で並列配置され、行方向で１画素ずつずらした前記参照用の画像データが、並列配置されたそれぞれの前記演算処理ブロックに入力される請求項８記載の演算処理装置。
  10. 前記動き推定処理機能を実行する演算処理ブロックは、列方向の画素数に応じた個数の前記単位演算回路を、前記参照用の画像データを構成する参照用の画素データが入力される前記第３入力端子を共通に接続し、ある単位演算回路の前記第１出力端子を列方向で次の単位演算回路の前記第１入力端子に接続することにより、列方向の画素数に応じた個数の前記単位演算回路を列方向に接続して成るモジュールを行方向で並列配置したものである請求項８または９記載の演算処理装置。
  11. 前記デジタルフィルタ処理機能を実行する演算処理ブロックは、クロック信号に同期して、当該演算処理ブロックに入力される画像データに２のｎ（ｎは整数）乗の係数を乗算するため、ｎの符号が正の場合は上位ビット側に、ｎの符号が負の場合は下位ビット側にｎの絶対値のビットだけシフトして、順次加算する演算回路を構成する請求項１から１０のいずれか一項記載の演算処理装置。
  12. 前記デジタルフィルタ処理機能を実行する演算処理ブロックは、
    前記第１セレクタにより前記第３入力端子からの画像データが選択され、前記第２セレクタにより前記固定データが選択され、前記第３セレクタにより前記減算器からの画像データが選択される前記単位演算回路を、画像データが入力される前記第３入力端子を共通に接続し、ある単位演算回路の前記第１出力端子を列方向で次の単位演算回路の前記第１入力端子に接続することにより、タップ数に応じた個数だけ列方向に接続して成るモジュールを行方向で並列配置し、並列配置された前記モジュールからの各出力データを、別の単位演算回路内の前記第１および第２レジスタを介して前記加算器により加算し、加算された画像データに対してさらに別の単位演算回路内の前記第２レジスタおよび前記ビットシフタを介してディジタルフィルタ処理を行う請求項１０記載の演算処理装置。
JP2003320325A 2003-09-11 2003-09-11 演算処理装置 Expired - Fee Related JP4663223B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003320325A JP4663223B2 (ja) 2003-09-11 2003-09-11 演算処理装置
US10/935,193 US7412470B2 (en) 2003-09-11 2004-09-08 Arithmetic processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003320325A JP4663223B2 (ja) 2003-09-11 2003-09-11 演算処理装置

Publications (2)

Publication Number Publication Date
JP2005092252A JP2005092252A (ja) 2005-04-07
JP4663223B2 true JP4663223B2 (ja) 2011-04-06

Family

ID=34452353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003320325A Expired - Fee Related JP4663223B2 (ja) 2003-09-11 2003-09-11 演算処理装置

Country Status (2)

Country Link
US (1) US7412470B2 (ja)
JP (1) JP4663223B2 (ja)

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7164423B1 (en) 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8001187B2 (en) * 2003-07-01 2011-08-16 Apple Inc. Peer-to-peer active content sharing
US8209376B1 (en) 2004-05-06 2012-06-26 Apple Inc. Application-specific group listing
TWI274508B (en) * 2004-10-19 2007-02-21 Ali Corp Device and method for computing reference address of motion compensation in image processing
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR101307257B1 (ko) * 2012-06-28 2013-09-12 숭실대학교산학협력단 영상의 인트라 예측 장치
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9967583B2 (en) * 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05100822A (ja) * 1991-10-04 1993-04-23 Nec Corp デイジタルシグナルプロセツサ
JPH05120321A (ja) * 1991-10-30 1993-05-18 Sony Corp 行列計算の演算方法
JPH06292178A (ja) * 1993-03-31 1994-10-18 Sony Corp 適応形ビデオ信号演算処理装置
JPH0830577A (ja) * 1994-07-15 1996-02-02 Mitsubishi Electric Corp Ｓｉｍｄプロセッサ
JPH08171538A (ja) * 1994-10-21 1996-07-02 Matsushita Electric Ind Co Ltd 信号処理装置
JP2004234407A (ja) * 2003-01-31 2004-08-19 Hitachi Ulsi Systems Co Ltd データ処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379351A (en) * 1992-02-19 1995-01-03 Integrated Information Technology, Inc. Video compression/decompression processing and processors
JP3125565B2 (ja) 1994-03-25 2001-01-22 松下電器産業株式会社 画像符号化方法
JPH1083388A (ja) 1996-05-20 1998-03-31 Matsushita Electric Ind Co Ltd 直交変換装置
US6757019B1 (en) * 1999-03-13 2004-06-29 The Board Of Trustees Of The Leland Stanford Junior University Low-power parallel processor and imager having peripheral control circuitry
JP2001084242A (ja) 1999-09-10 2001-03-30 Hitachi Ltd 可変演算プロセッサ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05100822A (ja) * 1991-10-04 1993-04-23 Nec Corp デイジタルシグナルプロセツサ
JPH05120321A (ja) * 1991-10-30 1993-05-18 Sony Corp 行列計算の演算方法
JPH06292178A (ja) * 1993-03-31 1994-10-18 Sony Corp 適応形ビデオ信号演算処理装置
JPH0830577A (ja) * 1994-07-15 1996-02-02 Mitsubishi Electric Corp Ｓｉｍｄプロセッサ
JPH08171538A (ja) * 1994-10-21 1996-07-02 Matsushita Electric Ind Co Ltd 信号処理装置
JP2004234407A (ja) * 2003-01-31 2004-08-19 Hitachi Ulsi Systems Co Ltd データ処理装置

Also Published As

Publication number Publication date
JP2005092252A (ja) 2005-04-07
US20050086276A1 (en) 2005-04-21
US7412470B2 (en) 2008-08-12

Similar Documents

Publication Publication Date Title
JP4663223B2 (ja) 演算処理装置
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
KR100203913B1 (ko) 모션 벡터 생성기
US5949486A (en) Unit for detecting motion vector for motion compensation
TW200409547A (en) Method and apparatus for motion estimation with all binary representation
Luo et al. A novel all-binary motion estimation (ABME) with optimized hardware architectures
JP2006050294A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4704333B2 (ja) 画像符号化装置および画像復号化装置、ならびにそれらで用いられる集積回路
WO2006114951A1 (ja) 画像処理装置及び画像処理プログラム
JP2008182527A (ja) 画像符号化装置及び方法、並びに撮像システム
JP3990392B2 (ja) 可変長復号化装置、可変長復号化方法および撮像システム
JP2012175424A (ja) 符号化処理装置および符号化処理方法
JP2947389B2 (ja) 画像処理用メモリ集積回路
JP2006087071A (ja) 動きベクトル検出方法および動画処理装置
Nam et al. High-throughput block-matching VLSI architecture with low memory bandwidth
US6668087B1 (en) Filter arithmetic device
JP2008532335A (ja) 画像内挿方法及び画素内挿装置
Lai et al. VLSI implementation of the motion estimator with two-dimensional data-reuse
US8369634B2 (en) Image decoder for HD photo
Hayashi et al. A bidirectional motion compensation LSI with a compact motion estimator
JP2863026B2 (ja) 動き補償予測方法
JP3161076B2 (ja) 画像信号符号化装置
Landge A configurable motion estimation accelerator for video compression
EP2120153A1 (en) Orthogonal converter and integrated circuit
JP2001313945A (ja) 画像処理装置及び画像符号化装置及び画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees