JP4590335B2

JP4590335B2 - Image processing apparatus and image processing method

Info

Publication number: JP4590335B2
Application number: JP2005282780A
Authority: JP
Inventors: 寛朗遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-09-28
Filing date: 2005-09-28
Publication date: 2010-12-01
Anticipated expiration: 2025-09-28
Also published as: JP2007096696A

Description

本発明は、動画像信号を符号化する動画像符号化技術に関し、特に、動き補償を用いた動画像信号の予測符号化処理技術に関する。 The present invention relates to a moving picture coding technique for coding a moving picture signal, and more particularly to a predictive coding processing technique for a moving picture signal using motion compensation.

従来から、膨大なデータ量の各種データを符号化することによりデータ量を削減して低い伝送レートで伝送し得るようにするための各種装置が開発されている。例えば、動画像符号化方式の国際標準規格であるＭＰＥＧ（Moving Picture Experts Group）符号化を用いて動画像信号を符号化して記録媒体に記録する動画像符号化装置がある。 2. Description of the Related Art Conventionally, various apparatuses have been developed for encoding various kinds of data having a huge amount of data so that the data amount can be reduced and transmitted at a low transmission rate. For example, there is a moving image encoding apparatus that encodes a moving image signal using MPEG (Moving Picture Experts Group) encoding, which is an international standard for moving image encoding, and records it on a recording medium.

ＭＰＥＧ符号化は、動き補償を用いた予測符号化であって、符号化処理においては動き補償に用いる動きベクトルを検出する必要がある。ＭＰＥＧ符号化により効率的な符号化を行うためには、できるだけ広い探索領域で動きベクトルを検出する必要がある。しかし、広い探索領域で動きベクトルを探索するためには、膨大なデータが必要になる。 MPEG encoding is predictive encoding using motion compensation, and it is necessary to detect a motion vector used for motion compensation in the encoding process. In order to perform efficient encoding by MPEG encoding, it is necessary to detect a motion vector in a search area as wide as possible. However, in order to search for a motion vector in a wide search area, a huge amount of data is required.

広い探索領域で動きベクトルを探索しながらも必要なデータ量を低減させるために、動きベクトルの階層的な探索が行われている（例えば、特許文献１参照）。特許文献１に記載の手法は、入力画像と参照画像とを同じ縮小率で縮小し、それらの画像（縮小画像）を用いて動きベクトルの粗探索を行う。その後、その周辺の小領域で、縮小率を変えた画像を用いてさらに動きベクトルの探索を行い、所望の精度の動きベクトルが得られるまで、この探索を繰り返し行う。 In order to reduce the amount of necessary data while searching for a motion vector in a wide search region, a hierarchical search for motion vectors is performed (see, for example, Patent Document 1). In the method described in Patent Document 1, an input image and a reference image are reduced at the same reduction rate, and a motion vector is roughly searched using the images (reduced images). Thereafter, a motion vector search is further performed using an image with a different reduction ratio in the surrounding small area, and this search is repeated until a motion vector with a desired accuracy is obtained.

特開平７−１０７４８６号公報JP-A-7-107486

しかしながら、従来技術においては、動きベクトルを探索するために必要なデータ量の低減は実現されているが、メモリアクセス量の低減は必ずしも実現されているとはいえない。 However, in the prior art, a reduction in the amount of data necessary for searching for a motion vector is realized, but a reduction in the memory access amount is not necessarily realized.

また、動きベクトルを探索するために必要なデータは、例えば大容量の同期型メモリに格納される。一般に大容量の同期型メモリは、アクセスするための手順があり、列アドレス方向に連続したアクセスは高速に行えるが、現在アクセス中の列アドレスとは異なる列アドレスをアクセスするためには数サイクルの手続きが必要である。すなわち、大容量の同期型メモリは、そのようなランダムアクセスを行うと非常に効率が悪くなるという特徴を有している。 Data necessary for searching for a motion vector is stored in, for example, a large-capacity synchronous memory. Generally, a large-capacity synchronous memory has a procedure for accessing, and continuous access in the column address direction can be performed at high speed. However, in order to access a column address different from the currently accessed column address, several cycles are required. Procedure is necessary. That is, a large-capacity synchronous memory has a feature that if such random access is performed, the efficiency becomes very poor.

したがって、上述した従来技術の手法を用いたとしても、動きベクトルの探索に係るメモリアクセス量は、必ずしも低減されない。その結果、広い探索領域での動きベクトルの探索は、装置の高い動作クロック周波数を必要とし、装置の消費電力の増大を招くという問題があった。 Therefore, even if the above-described conventional technique is used, the memory access amount related to the motion vector search is not necessarily reduced. As a result, the search for motion vectors in a wide search region requires a high operation clock frequency of the device, which causes an increase in power consumption of the device.

本発明は、動き補償を用いた動画像信号の予測符号化処理において、広い探索領域で動きベクトルを探索しながらも、装置の動作周波数の低減及び消費電力の低減を実現することを目的とする。 An object of the present invention is to realize a reduction in operating frequency and power consumption of a device while searching for a motion vector in a wide search region in a predictive encoding process of a moving image signal using motion compensation. .

本発明の画像処理装置は、画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理装置であって、行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能な同期型メモリと、前記同期型メモリに格納されている画像データから、複数の探索精度で階層的に前記動きベクトルを探索する動き探索手段と、前記動き探索手段により探索された前記動きベクトルを使用して画像データを予測符号化する符号化手段とを備え、前記複数の探索精度とは粗探索と、当該粗探索の探索精度より高い探索精度で動きベクトルを探索する密探索とを含み、前記動き探索手段は、前記粗探索の探索精度での動きベクトル探索時には縮小された参照画像を使った探索を行い、前記密探索の探索精度での動きベクトル探索時には縮小されていない参照画像を使った探索を行うものであって、前記同期型メモリは、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能であり、前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とする。 An image processing apparatus of the present invention is an image processing apparatus that divides image data into blocks of a predetermined size, obtains a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation. A plurality of searches from a synchronous memory in which a storage area is uniquely determined by a row address and a column address and data can be continuously read in the column address direction, and image data stored in the synchronous memory A plurality of search accuracies, comprising: motion search means for searching the motion vectors hierarchically with accuracy; and encoding means for predictively encoding image data using the motion vectors searched by the motion search means. Includes a rough search and a dense search for searching for a motion vector with a search accuracy higher than the search accuracy of the coarse search. A search using a reduced reference image at the time of vector search, and a search using a reference image not reduced at the time of motion vector search at the search accuracy of the dense search, wherein the synchronous memory A plurality of pixel values continuous in the horizontal direction of an image can be stored for one address specified by a combination of the row address and the column address, and when searching for a motion vector with the search accuracy of the coarse search As for the reduced reference image to be used, a plurality of pixel values in one horizontal line of the reference image are stored for one address, and a plurality of pixel values in each horizontal line continuous in the vertical direction of the reference image are stored. Pixel values are continuously stored in the column address direction, and are not reduced when used for motion vector search with the search accuracy of the dense search. For the reference image, a plurality of pixel values in one horizontal line of the reference image are stored for a plurality of the addresses continuous in the column address direction, and next to the pixel value at the right end of the horizontal line, The pixel value at the left end of the next horizontal line continuous in the vertical direction of the reference image is stored continuously in the column address direction.

本発明の画像処理方法は、画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理方法であって、行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能であって、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能な同期型メモリに参照画像を格納するデータ格納工程と、前記同期型メモリに格納されている、縮小された参照画像を用いて粗探索の探索精度で前記動きベクトルを探索する第１の動き探索工程と、前記第１の動き探索工程で探索した結果に基づいて、前記同期型メモリに格納されている、縮小されていない参照画像を用いて前記粗探索の探索精度より高い密探索の探索精度で前記動きベクトルを探索する第２の動き探索工程と、前記第２の動き探索工程で得られた前記動きベクトルを使用して画像データを予測符号化する符号化工程とを有し、前記データ格納工程では、前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とする。 An image processing method according to the present invention is an image processing method that divides image data into blocks of a predetermined size, obtains a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation. The storage area is uniquely determined by the row address and the column address, and the data can be continuously read in the column address direction, and is specified as one address specified by the combination of the row address and the column address. On the other hand, a data storing step of storing a reference image in a synchronous memory capable of storing a plurality of pixel values continuous in the horizontal direction of the image, and a rough reference using a reduced reference image stored in the synchronous memory. A first motion search step for searching for the motion vector with search accuracy and a result of the search in the first motion search step are stored in the synchronous memory. Obtained by the second motion search step and the second motion search step of searching for the motion vector with a search accuracy of the dense search higher than the search accuracy of the coarse search using the unreduced reference image. Encoding step of predictively encoding image data using the motion vector, and in the data storage step, for the reduced reference image used in motion vector search with the search accuracy of the coarse search, A plurality of pixel values in one horizontal line of the reference image are stored for one address, and a plurality of pixel values in each horizontal line continuous in the vertical direction of the reference image are consecutive in the column address direction. The reference image that has not been reduced and is used for motion vector search with the search accuracy of the dense search is stored in one horizontal line of the reference image. A plurality of pixel values corresponding to the plurality of addresses consecutive in the column address direction, and the next horizontal line continuing in the vertical direction of the reference image next to the pixel value at the right end of the horizontal line. The pixel value at the left end in is continuously stored in the column address direction.

本発明のプログラムは、画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理方法をコンピュータに実行させるプログラムであって、行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能であって、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能な同期型メモリに参照画像を格納するデータ格納ステップと、前記同期型メモリに格納されている、縮小された参照画像を用いて粗探索の探索精度で前記動きベクトルを探索する第１の動き探索ステップと、前記第１の動き探索ステップで探索した結果に基づいて、前記同期型メモリに格納されている、縮小されていない参照画像を用いて前記粗探索の探索精度より高い密探索の探索精度で前記動きベクトルを探索する第２の動き探索ステップと、前記第２の動き探索ステップで得られた前記動きベクトルを使用して画像データを予測符号化する符号化ステップとをコンピュータに実行させ、かつ前記データ格納ステップでは、前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。 The program of the present invention causes a computer to execute an image processing method that divides image data into blocks of a predetermined size, obtains a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation. A program in which a storage area is uniquely determined by a row address and a column address, and data can be continuously read in the column address direction, and is specified by a combination of the row address and the column address A data storing step for storing a reference image in a synchronous memory capable of storing a plurality of pixel values continuous in the horizontal direction of the image for one address, and a reduced reference image stored in the synchronous memory Using the first motion search step for searching for the motion vector with the search accuracy of the rough search, and the first motion search step. A second motion search for searching for the motion vector with a search accuracy of a dense search higher than a search accuracy of the coarse search using a non-reduced reference image stored in the synchronous memory based on the result And a coding step for predictively encoding image data using the motion vector obtained in the second motion search step, and the data storage step includes a search for the coarse search. For a reduced reference image used in motion vector search with high accuracy, a plurality of pixel values in one horizontal line of the reference image are stored for one address, and continuous in the vertical direction of the reference image. A plurality of pixel values in each horizontal line to be continuously stored in the column address direction, and a motion vector with a search accuracy of the dense search For a non-reduced reference image used at the time of searching, a plurality of pixel values in one horizontal line of the reference image are stored for a plurality of the addresses continuous in the column address direction, and the right end of the horizontal line The pixel value at the left end in the next horizontal line continuous in the vertical direction of the reference image is stored successively in the column address direction next to the pixel value.
The computer-readable recording medium of the present invention is characterized in that the program is recorded.

本発明によれば、参照画像を同期型メモリに格納する際、粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、参照画像の１つの水平ラインにおける複数の画素値を１つのアドレスに対して格納し、かつ、参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を列アドレス方向に連続して格納する。また、密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、参照画像の１つの水平ラインにおける複数の画素値を、列アドレス方向に連続する複数のアドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を列アドレス方向に連続して格納する。これにより、動き補償を用いた動画像信号の予測符号化処理にて使用される動きベクトルを、広い探索領域で探索しながらも、効率的なメモリアクセスで探索することができ、装置の動作周波数の低減及び消費電力の低減を実現することができる。 According to the present invention, when a reference image is stored in a synchronous memory, a plurality of pixel values in one horizontal line of the reference image are obtained for a reduced reference image used for motion vector search with coarse search accuracy. A plurality of pixel values in each horizontal line stored in one address and continuously in the vertical direction of the reference image are continuously stored in the column address direction. In addition, for a non-reduced reference image used for motion vector search with fine search accuracy, a plurality of pixel values in one horizontal line of the reference image are stored for a plurality of addresses continuous in the column address direction. In addition, after the pixel value at the right end of the horizontal line, the pixel value at the left end in the next horizontal line continuous in the vertical direction of the reference image is continuously stored in the column address direction. As a result, the motion vector used in the predictive coding processing of the moving image signal using motion compensation can be searched with efficient memory access while searching in a wide search region, and the operating frequency of the apparatus And reduction of power consumption can be realized.

以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置の一例である動画像符号化装置の構成例を示すブロック図である。 (First embodiment)
FIG. 1 is a block diagram showing a configuration example of a moving image encoding apparatus which is an example of an image processing apparatus according to the first embodiment of the present invention.

本実施形態における動画像符号化装置は、図１に示すように、映像入力部１０１、動き探索部１０２、動き補償部１０３、画像縮小部１０４、フレームメモリ１０５、減算器１０６、及び加算器１０７を有する。また、本実施形態における動画像符号化装置は、直交変換（ＤＣＴ：Discrete Cosine Transform）部１０８、量子化（Ｑ）部１０９、及び可変長符号化（ＶＬＣ：Variable Length Code）部１１０を有する。本実施形態における動画像符号化装置は、符号化データバッファ１１１、符号量制御部１１２、逆量子化（ＩＱ）部１１３、逆直交変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）部１１４をさらに有する。 As shown in FIG. 1, the moving image coding apparatus according to the present embodiment includes a video input unit 101, a motion search unit 102, a motion compensation unit 103, an image reduction unit 104, a frame memory 105, a subtractor 106, and an adder 107. Have In addition, the moving picture coding apparatus according to the present embodiment includes an orthogonal transform (DCT) unit 108, a quantization (Q) unit 109, and a variable length coding (VLC) unit 110. The moving image encoding apparatus according to the present embodiment further includes an encoded data buffer 111, a code amount control unit 112, an inverse quantization (IQ) unit 113, and an inverse orthogonal transform (IDCT) unit 114.

映像入力部１０１は、動画像符号化装置に対して映像信号を入力するためのものである。例えば、映像入力部１０１は、レンズにより結像した光学像を光電変換素子（例えばＣＣＤイメージセンサ）により電気信号に変換し、前記電気信号に変換された動画像アナログ信号をＡ／Ｄコンバータにより動画像デジタル信号に変換する。さらに、映像入力部１０１は、デジタル信号処理回路により、前記動画像デジタル信号にホワイトバランス処理やガンマ補正処理などの信号処理を施こす機能を有する。なお、光電変換素子、Ａ／Ｄコンバータ、及びデジタル信号処理回路等は、映像入力部１０１内に備えられている。 The video input unit 101 is for inputting a video signal to the moving image encoding apparatus. For example, the video input unit 101 converts an optical image formed by a lens into an electric signal by a photoelectric conversion element (for example, a CCD image sensor), and the moving image analog signal converted into the electric signal is converted into a moving image by an A / D converter. Convert to image digital signal. Further, the video input unit 101 has a function of performing signal processing such as white balance processing and gamma correction processing on the moving image digital signal by a digital signal processing circuit. Note that a photoelectric conversion element, an A / D converter, a digital signal processing circuit, and the like are provided in the video input unit 101.

映像入力部１０１により得られた動画像デジタル信号は、フレームメモリ１０５に一旦格納される。ここで、フレームメモリ１０５は、行アドレス（Ｒｏｗ：第２のアドレス）と列アドレス（Ｃｏｌ：第１のアドレス）による２次元のアドレス空間を持ち、列アドレス方向にはデータの連続した読み出しが可能な同期型メモリである。フレームメモリ１０５は、行アドレスと列アドレスを用いて各記憶領域がマッピングされており、行アドレスと列アドレスとの組み合わせにより記憶領域が一意に定まる。本実施形態では、フレームメモリ１０５は、一例としてデータのビット長が３２ビットのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成されているものとする。 The moving image digital signal obtained by the video input unit 101 is temporarily stored in the frame memory 105. Here, the frame memory 105 has a two-dimensional address space with a row address (Row: second address) and a column address (Col: first address), and data can be continuously read in the column address direction. Synchronous memory. In the frame memory 105, each storage area is mapped using a row address and a column address, and the storage area is uniquely determined by a combination of the row address and the column address. In the present embodiment, the frame memory 105 is assumed to be configured by an SDRAM (Synchronous Dynamic Random Access Memory) having a data bit length of 32 bits as an example.

動き探索部１０２は、フレームメモリ１０５に格納されている符号化対象画像（動画像デジタル信号）を読み出す。符号化対象画像を読み出す際、動き探索部１０２は、符号化対象画像を水平１６画素、垂直１６画素の大きさの符号化対象マクロブロック（以下、「カレントＭＢ」とも称す。）に分割し、カレントＭＢ毎にフレームメモリ１０５から読み出す。 The motion search unit 102 reads an encoding target image (moving image digital signal) stored in the frame memory 105. When reading the encoding target image, the motion search unit 102 divides the encoding target image into encoding target macroblocks (hereinafter also referred to as “current MB”) having a size of 16 horizontal pixels and 16 vertical pixels. Read from the frame memory 105 for each current MB.

ここで、本実施形態における画像信号（動画像デジタル信号）のフレームメモリ１０５への格納方法について図２を参照して説明する。
図２に示すように本実施形態では、図２（ａ）に示す画像の座標で水平方向及び垂直方向ともに１６画素分のカレントＭＢにおける各画素の画素値が、図２（ｂ）に示すようにフレームメモリ１０５の同一の行アドレス（Ｒｏｗ）に配置される。また、図２（ａ）において塗りつぶした画素（Ｃｏｌ０の４画素）のように、画像において水平方向に連続する４画素の画素値が、行アドレスと列アドレスとの組み合わせにより特定されるフレームメモリ１０５の１つのアドレスにまとめて格納される。したがって、図２（ａ）に示すカレントＭＢの画像信号は、Ｃｏｌ０，Ｃｏｌ１，Ｃｏｌ２，…のような順番で、図２（ｂ）に示すように同一の行アドレス内の列アドレス（Ｃｏｌ）方向に連続的に格納される。なお、カレントＭＢにおける右端の画素値（例えばＣｏｌ３）の次には、当該カレントＭＢにおける１ライン下の左端の画素値（例えばＣｏｌ４）が格納される。 Here, a method of storing the image signal (moving image digital signal) in the frame memory 105 in the present embodiment will be described with reference to FIG.
As shown in FIG. 2, in this embodiment, the pixel value of each pixel in the current MB of 16 pixels in the horizontal and vertical directions in the coordinates of the image shown in FIG. 2A is as shown in FIG. Are arranged at the same row address (Row) of the frame memory 105. In addition, the frame memory 105 in which pixel values of four pixels that are continuous in the horizontal direction in the image are specified by a combination of a row address and a column address, like the pixels that are filled in (four pixels of Col0) in FIG. Are stored together in one address. Therefore, the image signal of the current MB shown in FIG. 2A is in the order of Col0, Col1, Col2,..., The column address (Col) direction in the same row address as shown in FIG. Are stored continuously. Note that, after the rightmost pixel value (for example, Col3) in the current MB, the leftmost pixel value (for example, Col4) one line below in the current MB is stored.

動き探索部１０２は、フレームメモリ１０５から１つのカレントＭＢのデータを読み出すと、読み出したカレントＭＢのデータを動き探索部１０２内部のメモリに格納する。さらに動き探索部１０２は、読み出したカレントＭＢのデータを水平方向に４分の１に縮小した縮小カレントＭＢのデータを生成して、動き探索部１０２内部のメモリに格納する。 When the motion search unit 102 reads data of one current MB from the frame memory 105, the motion search unit 102 stores the read current MB data in a memory inside the motion search unit 102. Further, the motion search unit 102 generates reduced current MB data obtained by reducing the read current MB data by a quarter in the horizontal direction, and stores the data in a memory inside the motion search unit 102.

次に、動き探索部１０２は、符号化対象画像とは時間的に異なる画像を参照画像としてフレームメモリ１０５から読み出す。参照画像は、後述するように、過去に符号化した際に生成した画像（ローカルデコード画像）を使用する。まず、動き探索部１０２は、例えば水平４画素単位、垂直１画素単位の精度で動きベクトルを探索（粗探索）するために、過去の符号化時にあらかじめ縮小処理を施してフレームメモリ１０５に格納しておいた粗探索用の参照画像を読み出す。 Next, the motion search unit 102 reads an image temporally different from the encoding target image from the frame memory 105 as a reference image. As will be described later, the reference image uses an image (local decoded image) generated when it has been encoded in the past. First, the motion search unit 102 performs a reduction process in advance during past encoding and stores it in the frame memory 105 in order to search for a motion vector (rough search) with an accuracy of, for example, horizontal 4 pixels and vertical 1 pixel. The rough search reference image is read out.

ここで、本実施形態において粗探索用の参照画像として用いられる縮小画像信号のフレームメモリ１０５への格納方法について図３を参照して説明する。
図３（ａ）は元々の参照画像を示しており、これを水平方向に４分の１に縮小した画像（縮小画像）が図３（ｂ）に示している。図３（ｂ）に示す４分の１に縮小処理した後の参照画像において水平方向に連続する画素の画素値（例えば図３（ｂ）中で塗りつぶした画素群Ｃｏｌ０の画素値）が、図３（ｃ）に示すようにフレームメモリ１０５の１つのアドレスにまとめて格納される。したがって、図３（ｂ）に示す４分の１に縮小後の参照画像の画像信号は、図３（ｃ）に示すように同一の行アドレス（Ｒｏｗ）内の列アドレス（Ｃｏｌ）方向に連続的に格納される。具体的には、図３（ｂ）においてＣｏｌ０，Ｃｏｌ１，Ｃｏｌ２，…のように画像の座標で垂直方向に連続した、参照画像の水平方向に連続する画素値が、図３（ｃ）に示すようにフレームメモリ１０５に格納される。以上のように、粗探索用の参照画像は図３（ｃ）に示すようにフレームメモリ１０５に配置される。 Here, a method for storing the reduced image signal used as the reference image for rough search in the present embodiment in the frame memory 105 will be described with reference to FIG.
FIG. 3A shows the original reference image, and an image (reduced image) obtained by reducing the reference image by a quarter in the horizontal direction is shown in FIG. In the reference image after the reduction processing to ¼ shown in FIG. 3B, the pixel values of pixels continuous in the horizontal direction (for example, the pixel values of the pixel group Col0 filled in FIG. 3B) are shown in FIG. As shown in FIG. 3 (c), they are stored together in one address of the frame memory 105. Accordingly, the image signal of the reference image reduced to ¼ shown in FIG. 3B is continuously in the column address (Col) direction in the same row address (Row) as shown in FIG. 3C. Stored. Specifically, in FIG. 3B, pixel values that are continuous in the vertical direction at the coordinates of the image, such as Col0, Col1, Col2,. As shown in FIG. As described above, the reference image for coarse search is arranged in the frame memory 105 as shown in FIG.

粗探索用の参照画像は、動きベクトルの探索を行う際、カレントＭＢの周辺も含めて広い範囲で読み出される。例えば、カレントＭＢの周辺を含む縮小前の画像で水平方向８０画素（水平±３２画素のベクトルを算出可能な画素数）、垂直方向４８画素（垂直±１６画素のベクトルを算出可能な画素数）分の広い範囲で粗探索用の参照画像が読み出される。動き探索部１０２は、読み出した縮小参照画像のデータと縮小カレントＭＢのデータとのパターンマッチングを順次行い、最も差分値が小さい縮小参照画像の座標から粗探索の動きベクトルを算出する。 The reference image for coarse search is read in a wide range including the periphery of the current MB when searching for a motion vector. For example, in a pre-reduced image including the periphery of the current MB, 80 pixels in the horizontal direction (number of pixels that can calculate a vector of horizontal ± 32 pixels), 48 pixels in the vertical direction (number of pixels that can calculate a vector of vertical ± 16 pixels) A reference image for coarse search is read out over a wide range of minutes. The motion search unit 102 sequentially performs pattern matching between the read reduced reference image data and the reduced current MB data, and calculates a coarse search motion vector from the coordinates of the reduced reference image having the smallest difference value.

粗探索での動きベクトルの探索は、フレームメモリ１０５から読み出すべき縮小参照画像のデータ量が多いため、探索範囲すべてのデータを動き探索部１０２に格納せずに、以下のようにして行う。例えば動き探索部１０２の内部に縮小参照画像用のメモリとして、縮小後の画像で水平８画素、垂直４８画素分のメモリを設け、動き探索部１０２は、フレームメモリ１０５から縮小参照画像のデータを読み出しながら動きベクトルの探索を実行する。このとき、動き探索部１０２内部のメモリで不要になったデータは、フレームメモリ１０５から新たに読み出した縮小参照画像のデータで置き換えていく。このようにして、動き探索部１０２は、所定の領域内において縮小カレントＭＢのデータと縮小参照画像のデータとの差分が最も小さい縮小参照画像の座標を求め、それを粗探索の動きベクトルとして算出する。本実施形態では、縮小参照画像は、元の参照画像を水平方向に４分の１に縮小した画像であるため、粗探索における動きベクトルの探索精度は縮小前の画像に換算すると水平４画素単位の探索精度になる。 The search for the motion vector in the coarse search is performed as follows without storing the entire search range data in the motion search unit 102 because the amount of data of the reduced reference image to be read from the frame memory 105 is large. For example, a memory for 8 pixels in the horizontal direction and 48 pixels in the vertical direction is provided as a memory for the reduced reference image in the motion search unit 102, and the motion search unit 102 receives the data of the reduced reference image from the frame memory 105. A motion vector search is performed while reading. At this time, data that is no longer necessary in the memory in the motion search unit 102 is replaced with data of a reduced reference image newly read from the frame memory 105. In this manner, the motion search unit 102 obtains the coordinates of the reduced reference image having the smallest difference between the reduced current MB data and the reduced reference image data within a predetermined area, and calculates the coordinates as a coarse search motion vector. To do. In the present embodiment, the reduced reference image is an image obtained by reducing the original reference image by a factor of four in the horizontal direction. Therefore, the search accuracy of the motion vector in the coarse search is converted to an image before reduction in units of four horizontal pixels. Search accuracy.

次に、動き探索部１０２は、水平及び垂直ともに１画素単位の精度で動きベクトルを探索（密探索）するため、フレームメモリ１０５に格納されている密探索用の参照画像（縮小していない画像）を読み出す。詳細には、上述した粗探索で求めた動きベクトルの例えば水平±４画素、垂直±４画素の範囲での密探索を行うため、動き探索部１０２は、水平２４画素、垂直２４画素分の範囲の参照画像をフレームメモリ１０５から読み出し、内蔵するメモリに格納する。なお、縮小していない参照画像は、図２に示したようなカレントＭＢのデータと同様の配置でフレームメモリ１０５に格納されている。 Next, since the motion search unit 102 searches for a motion vector (fine search) with accuracy in units of one pixel in both horizontal and vertical directions, a reference image for fine search stored in the frame memory 105 (an unreduced image). ). Specifically, in order to perform a dense search in the range of, for example, horizontal ± 4 pixels and vertical ± 4 pixels of the motion vector obtained by the above-described rough search, the motion search unit 102 has a range of 24 pixels in the horizontal range and 24 pixels in the vertical range. Are read from the frame memory 105 and stored in a built-in memory. The reference image that has not been reduced is stored in the frame memory 105 in the same arrangement as the current MB data as shown in FIG.

動き探索部１０２は、動き探索部１０２内部のメモリに格納した、カレントＭＢのデータと参照画像のデータとのパターンマッチングを行い、密探索の動きベクトルを算出する。具体的には、動き探索部１０２は、縮小していないカレントＭＢのデータと縮小していない参照画像のデータとの差分が最も小さい参照画像の座標を求め、それを密探索の動きベクトルとして算出する。 The motion search unit 102 performs pattern matching between the current MB data and the reference image data stored in the memory in the motion search unit 102, and calculates a motion vector for dense search. Specifically, the motion search unit 102 obtains the coordinates of the reference image having the smallest difference between the unreduced current MB data and the unreduced reference image data, and calculates it as a motion vector for the dense search. To do.

動き補償部１０３は、動き探索部１０２が密探索で算出した動きベクトルに対応する参照画像をフレームメモリ１０５から読み出し、動き補償部１０３内部のメモリに格納する。減算器１０６は、カレントＭＢの符号化対象画像の画素値から、動き補償部１０３内部のメモリに格納された参照画像の画素値を減算して、減算結果を直交変換部１０８に出力する。 The motion compensation unit 103 reads the reference image corresponding to the motion vector calculated by the dense search by the motion search unit 102 from the frame memory 105 and stores the reference image in the memory inside the motion compensation unit 103. The subtractor 106 subtracts the pixel value of the reference image stored in the memory inside the motion compensation unit 103 from the pixel value of the current MB encoding target image, and outputs the subtraction result to the orthogonal transform unit 108.

減算器１０６から出力された減算結果は、直交変換部１０８により直交変換され、さらに量子化部１０９により量子化される。ここで量子化部１０９が量子化する際の量子化係数は、符号量制御部１１２により決定される。量子化部１０９より出力される量子化後の係数は、可変長符号化部１１０及び逆量子化部１１３に入力される。 The subtraction result output from the subtractor 106 is orthogonally transformed by the orthogonal transformation unit 108 and further quantized by the quantization unit 109. Here, the quantization coefficient used when the quantization unit 109 performs quantization is determined by the code amount control unit 112. The quantized coefficient output from the quantization unit 109 is input to the variable length encoding unit 110 and the inverse quantization unit 113.

可変長符号化部１１０に入力された前記量子化後の係数は、可変長符号化された後、符号化データバッファ１１１に格納される。データバッファ１１１に入力された符号化信号の符号量は符号量制御部１１２に入力され、それを基に符号量制御部１１２は、目標とする符号量になるように次の符号化対象マクロブロックの量子化係数を決定する。 The quantized coefficients input to the variable length coding unit 110 are variable length coded and then stored in the coded data buffer 111. The code amount of the encoded signal input to the data buffer 111 is input to the code amount control unit 112, and based on this, the code amount control unit 112 sets the next encoding target macroblock so that the target code amount is obtained. Determine the quantization coefficient.

一方、逆量子化部１１３に入力された前記量子化後の係数は、量子化部１０９が量子化する際に使用した量子化係数で逆量子化され、さらに逆直交変換部１１４により逆直交変換された後、加算器１０７に入力される。また、動き補償部１０３内部のメモリに格納された密探索で求めた動きベクトルに対応する参照画像も加算器１０７に入力される。 On the other hand, the quantized coefficient input to the inverse quantization unit 113 is inversely quantized with the quantization coefficient used when the quantization unit 109 performs the quantization, and further the inverse orthogonal transform unit 114 performs the inverse orthogonal transform. Is input to the adder 107. A reference image corresponding to the motion vector obtained by the fine search stored in the memory inside the motion compensation unit 103 is also input to the adder 107.

加算器１０７は、動き補償部１０３より入力される参照画像と逆直交変換部１１４より入力される値とを加算して、現在のフレームとは異なるフレームの符号化時に使用する参照画像（ローカルデコード画像）を生成する。生成されたローカルデコード画像は、そのまま図２に示したようなカレントＭＢのデータと同様の配置でフレームメモリ１０５に格納される。また、生成されたローカルデコード画像は、画像縮小部１０４に入力されて水平方向に４分の１に縮小された後に、図３に示す配置でフレームメモリ１０５に格納される。 The adder 107 adds the reference image input from the motion compensation unit 103 and the value input from the inverse orthogonal transform unit 114, and uses a reference image (local decoding) used when encoding a frame different from the current frame. Image). The generated local decoded image is stored in the frame memory 105 in the same arrangement as the current MB data as shown in FIG. Further, the generated local decoded image is input to the image reduction unit 104 and reduced to a quarter in the horizontal direction, and then stored in the frame memory 105 in the arrangement shown in FIG.

以上、第１の実施形態によれば、列アドレス方向についてデータの連続読み出しが可能な同期型メモリで構成されたフレームメモリ１０５に、粗探索用及び密探索用それぞれの参照画像の画像信号を同一の行アドレス内の列アドレス方向に連続的に格納する。これにより、動き補償を用いた動画像信号の予測符号化を行う場合に、広い探索領域で探索しながらもフレームメモリ１０５からデータを読み出すためのメモリアクセスを効率良く行い動きベクトルを探索することができる。したがって、装置の動作周波数を低減することができ、かつ消費電力を低減することができる。 As described above, according to the first embodiment, the image signals of the reference images for the coarse search and the fine search are the same in the frame memory 105 configured by the synchronous memory capable of continuously reading data in the column address direction. Are continuously stored in the column address direction within the row address. Accordingly, when performing predictive coding of a moving image signal using motion compensation, it is possible to search for a motion vector by efficiently performing memory access for reading data from the frame memory 105 while searching in a wide search region. it can. Therefore, the operating frequency of the apparatus can be reduced and power consumption can be reduced.

特に、本実施形態では、フレームメモリ１０５の１つのアドレスに４画素の画素値を格納できるため、参照画像を水平方向に４分の１に縮小した場合には、１つのアドレスに格納可能な縮小画像の情報は、縮小前の画像に換算すると１６画素分の情報となる。これは、本実施形態における画像信号の符号化単位である１マクロブロック（カレントＭＢ）の水平画素数の１６と同一であるため、縮小後の水平４画素を垂直方向に読み込むことでマクロブロックのデータを揃えることが可能になる。縮小参照画像のデータは、図３に示したように、縮小後の水平４画素の画素値を垂直方向に、フレームメモリ１０５の列アドレス方向に連続して格納しているため、効率良く縮小参照画像のデータを読み込むことができる。 In particular, in the present embodiment, since a pixel value of 4 pixels can be stored in one address of the frame memory 105, when the reference image is reduced to a quarter in the horizontal direction, the reduction can be stored in one address. The image information is information for 16 pixels when converted into an image before reduction. This is the same as 16 horizontal pixels of one macroblock (current MB), which is the encoding unit of the image signal in this embodiment, and therefore, by reading the reduced horizontal 4 pixels in the vertical direction, It is possible to align the data. As shown in FIG. 3, the data of the reduced reference image stores the pixel values of the reduced horizontal four pixels in the vertical direction and continuously in the column address direction of the frame memory 105. Image data can be read.

なお、本実施形態では、粗探索の探索精度を縮小前の画像に換算して４画素単位としているが、８画素単位や１６画素単位など他の探索精度でも、本発明が適用できる。また、本実施形態では、フレームメモリ１０５の１つのアドレスに格納可能な画素値を４画素としているが、８画素格納可能なフレームメモリなど、他のフレームメモリ構成でも本発明が適用できる。 In the present embodiment, the search accuracy of the coarse search is converted into an image before reduction and is set to 4 pixel units. However, the present invention can be applied to other search accuracy such as 8 pixel units and 16 pixel units. In this embodiment, the pixel value that can be stored in one address of the frame memory 105 is 4 pixels. However, the present invention can be applied to other frame memory configurations such as a frame memory that can store 8 pixels.

（第２の実施形態）
次に、第２の実施形態について説明する。
以下に説明する本発明の第２の実施形態は、フレームメモリ１０５への画像データの格納方法が上述した第１の実施形態とは異なる。なお、第２の実施形態におけるその他の要素は、上述した第１の実施形態と同様であるので説明を省略する。例えば、第２の実施形態による画像処理装置の一例である動画像符号化装置は、上述した第１の実施形態における図１に示した動画像符号化装置と同様に構成される。 (Second Embodiment)
Next, a second embodiment will be described.
The second embodiment of the present invention described below is different from the first embodiment described above in the method of storing image data in the frame memory 105. In addition, since the other elements in the second embodiment are the same as those in the first embodiment described above, description thereof is omitted. For example, a moving image encoding apparatus which is an example of an image processing apparatus according to the second embodiment is configured in the same manner as the moving image encoding apparatus shown in FIG. 1 in the first embodiment described above.

第２の実施形態においては、縮小していない画像データのフレームメモリ１０５への格納方法が異なる。上述した第１の実施形態では、マクロブロック単位（図２（ａ）参照）で画像データをフレームメモリ１０５の列アドレス方向に連続して格納していた。それに対して、第２の実施の形態では、図４に示すように水平方向に連続した２つのマクロブロック単位で画像データをフレームメモリ１０５の列アドレス方向に連続して格納する。 In the second embodiment, the method for storing unreduced image data in the frame memory 105 is different. In the first embodiment described above, image data is continuously stored in the column address direction of the frame memory 105 in units of macroblocks (see FIG. 2A). On the other hand, in the second embodiment, as shown in FIG. 4, image data is continuously stored in the column address direction of the frame memory 105 in units of two macroblocks continuous in the horizontal direction.

なお、第２の実施形態において、粗探索用の参照画像として用いられる縮小参照画像のデータのフレームメモリ１０５への格納方法は第１の実施形態と同じであり、上述した図３に示す配置でフレームメモリ１０５に格納される。 In the second embodiment, the method for storing the data of the reduced reference image used as the reference image for coarse search in the frame memory 105 is the same as that in the first embodiment, and the arrangement shown in FIG. Stored in the frame memory 105.

図４を参照して、第２の実施形態における縮小していない画像信号のフレームメモリ１０５への格納方法について説明する。
図４（ａ）に示す画像の座標で水平方向に連続した２つのカレントＭＢの水平方向３２画素及び垂直方向１６画素分の各画素の画素値が、図４（ｂ）に示すようにフレームメモリ１０５の同一の行アドレス（Ｒｏｗ）に配置される。また、図４（ａ）において塗りつぶした画素（Ｃｏｌ０の４画素）のように、画像において水平方向に連続する４画素の画素値が、フレームメモリ１０５の１つのアドレスにまとめて格納される。したがって、図４（ａ）に示すカレントＭＢの画像信号は、Ｃｏｌ０，Ｃｏｌ１，Ｃｏｌ２，…のような順番で、図４（ｂ）に示すように同一の行アドレス内の列アドレス（Ｃｏｌ）方向に連続的に格納される。なお、図４（ｂ）に示すように、水平方向に連続した２つのカレントＭＢにおける右端の画素値（例えばＣｏｌ７）の次には、１ライン下の左端の画素値（例えばＣｏｌ８）が格納される。 With reference to FIG. 4, a method of storing an unreduced image signal in the frame memory 105 in the second embodiment will be described.
The pixel values of each pixel of 32 pixels in the horizontal direction and 16 pixels in the vertical direction of two current MBs that are continuous in the horizontal direction at the coordinates of the image shown in FIG. 4A are the frame memories as shown in FIG. 105 are arranged at the same row address (Row). In addition, the pixel values of four pixels that are continuous in the horizontal direction in the image are collectively stored in one address of the frame memory 105, like the pixels that are filled in (four pixels of Col0) in FIG. Therefore, the image signal of the current MB shown in FIG. 4A is in the order of Col0, Col1, Col2,..., The column address (Col) direction in the same row address as shown in FIG. Are stored continuously. As shown in FIG. 4B, after the rightmost pixel value (for example, Col7) in two current MBs consecutive in the horizontal direction, the leftmost pixel value (for example, Col8) below one line is stored. The

第２の実施形態によれば、上述した第１の実施形態と同様の効果が得られる。さらに、動き探索部１０２や動き補償部１０３が読み込む参照画像の読み込み開始座標（開始アドレス）が符号化単位であるマクロブロック端ではない場合でも、行アドレスの変更が比較的少なくフレームメモリ１０５へのアクセスが可能となる。 According to the second embodiment, the same effects as those of the first embodiment described above can be obtained. Further, even when the reading start coordinate (start address) of the reference image read by the motion search unit 102 or the motion compensation unit 103 is not the end of the macroblock that is the encoding unit, the change of the row address is relatively small and the frame memory 105 is read. Access is possible.

なお、上述した第１及び第２の実施形態では、縮小していない画像のデータをフレームメモリ１０５の列アドレス方向に連続して格納する場合に、右端の画素値の次には１ライン下の左端の画素値を格納している。しかしながら、本発明はこれに限定されず、縮小していない画像のデータがフレームメモリ１０５における同一の行アドレス内の列アドレス方向に連続して格納されれば良い。
また、上述した第１及び第２の実施形態では、符号化対象マクロブロック（カレントＭＢ）の大きさを水平１６画素、垂直１６画素としているが、符号化対象マクロブロックの大きさは任意である。 In the above-described first and second embodiments, when image data that has not been reduced is stored continuously in the column address direction of the frame memory 105, the pixel value at the right end is one line below. The leftmost pixel value is stored. However, the present invention is not limited to this, and it is only necessary that image data that has not been reduced is continuously stored in the column address direction within the same row address in the frame memory 105.
In the first and second embodiments described above, the size of the encoding target macroblock (current MB) is 16 pixels horizontal and 16 pixels vertical, but the size of the encoding target macroblock is arbitrary. .

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。 (Other embodiments of the present invention)
A program code of software for realizing the functions of the embodiment is provided to a computer in an apparatus or a system connected to the various devices so as to operate various devices to realize the functions of the above-described embodiments. What is implemented by operating the various devices according to a program supplied and stored in a computer (CPU or MPU) of the apparatus or system is also included in the scope of the present invention.
In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself constitutes the present invention. Further, means for supplying the program code to the computer, for example, a recording medium storing the program code constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software in which the program code is running on the computer, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Needless to say, the present invention includes the case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の実施形態における動画像符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the moving image encoder in embodiment of this invention. 第１の実施形態における画像信号のフレームメモリへの格納方法を説明するための図である。It is a figure for demonstrating the storage method to the frame memory of the image signal in 1st Embodiment. 第１の実施形態における縮小画像信号のフレームメモリへの格納方法を説明するための図である。It is a figure for demonstrating the storage method to the frame memory of the reduced image signal in 1st Embodiment. 第２の実施形態における画像信号のフレームメモリへの格納方法を説明するための図である。It is a figure for demonstrating the storage method to the frame memory of the image signal in 2nd Embodiment.

符号の説明Explanation of symbols

１０１映像入力部
１０２動き探索部
１０３動き補償部
１０４画像縮小部
１０５フレームメモリ
１０６減算器
１０８直交変換部
１０９量子化部
１１０可変長符号化部 DESCRIPTION OF SYMBOLS 101 Video input part 102 Motion search part 103 Motion compensation part 104 Image reduction part 105 Frame memory 106 Subtractor 108 Orthogonal transformation part 109 Quantization part 110 Variable length encoding part

Claims

画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理装置であって、
行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能な同期型メモリと、
前記同期型メモリに格納されている画像データから、複数の探索精度で階層的に前記動きベクトルを探索する動き探索手段と、
前記動き探索手段により探索された前記動きベクトルを使用して画像データを予測符号化する符号化手段とを備え、
前記複数の探索精度とは粗探索と、当該粗探索の探索精度より高い探索精度で動きベクトルを探索する密探索とを含み、
前記動き探索手段は、前記粗探索の探索精度での動きベクトル探索時には縮小された参照画像を使った探索を行い、前記密探索の探索精度での動きベクトル探索時には縮小されていない参照画像を使った探索を行うものであって、
前記同期型メモリは、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能であり、
前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、
前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とする画像処理装置。 An image processing apparatus that divides image data into blocks of a predetermined size, calculates a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation,
A synchronous memory in which a storage area is uniquely determined by a row address and a column address, and data can be continuously read in the column address direction;
Motion search means for hierarchically searching for the motion vector with a plurality of search accuracy from the image data stored in the synchronous memory;
Encoding means for predictively encoding image data using the motion vector searched by the motion search means;
The plurality of search accuracies include a rough search and a dense search for searching for a motion vector with a search accuracy higher than the search accuracy of the coarse search,
The motion search means performs a search using a reduced reference image at the time of motion vector search with the search accuracy of the coarse search, and uses an unreduced reference image at the time of motion vector search with the search accuracy of the dense search. Search,
The synchronous memory is capable of storing a plurality of pixel values that are continuous in the horizontal direction of an image for one address specified by a combination of the row address and the column address.
For a reduced reference image used in motion vector search with the search accuracy of the rough search, a plurality of pixel values in one horizontal line of the reference image are stored for one address, and the reference image A plurality of pixel values in each horizontal line that are continuous in the vertical direction are stored continuously in the column address direction,
For a non-reduced reference image used in motion vector search with the search accuracy of the dense search, a plurality of pixel values in one horizontal line of the reference image are assigned to a plurality of the addresses continuous in the column address direction. And, after the pixel value at the right end of the horizontal line, the pixel value at the left end in the next horizontal line continuous in the vertical direction of the reference image is stored in the column address direction continuously. An image processing apparatus.

前記ブロックの水平画素数がｍ（ｍは自然数）であり、前記同期型メモリの１つの前記アドレスに対して格納される複数の画素値の数がｎ（ｎは自然数）である場合に、前記粗探索の探索精度は、画像の水平方向における（（ｍ／ｎ）×ｋ）画素単位（ｋは自然数）とすることを特徴とする請求項１記載の画像処理装置。 When the horizontal pixel number of the block is m (m is a natural number) and the number of pixel values stored for one address of the synchronous memory is n (n is a natural number), The image processing apparatus according to claim 1, wherein the search accuracy of the coarse search is ((m / n) × k) pixel units (k is a natural number) in the horizontal direction of the image.

画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理方法であって、
行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能であって、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能な同期型メモリに参照画像を格納するデータ格納工程と、
前記同期型メモリに格納されている、縮小された参照画像を用いて粗探索の探索精度で前記動きベクトルを探索する第１の動き探索工程と、
前記第１の動き探索工程で探索した結果に基づいて、前記同期型メモリに格納されている、縮小されていない参照画像を用いて前記粗探索の探索精度より高い密探索の探索精度で前記動きベクトルを探索する第２の動き探索工程と、
前記第２の動き探索工程で得られた前記動きベクトルを使用して画像データを予測符号化する符号化工程とを有し、
前記データ格納工程では、
前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、
前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とする画像処理方法。 An image processing method that divides image data into blocks of a predetermined size, obtains a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation,
A storage area is uniquely determined by a row address and a column address, and continuous reading of data is possible in the column address direction. For one address specified by a combination of the row address and the column address A data storage step of storing the reference image in a synchronous memory capable of storing a plurality of pixel values continuous in the horizontal direction of the image;
A first motion search step of searching for the motion vector with a search accuracy of a coarse search using a reduced reference image stored in the synchronous memory;
Based on the result of the search in the first motion search step, the motion with a search accuracy of the dense search that is higher than the search accuracy of the coarse search by using the non-reduced reference image stored in the synchronous memory. A second motion search step for searching for a vector;
An encoding step of predictively encoding image data using the motion vector obtained in the second motion search step;
In the data storing step,
For a reduced reference image used in motion vector search with the search accuracy of the rough search, a plurality of pixel values in one horizontal line of the reference image are stored for one address, and the reference image A plurality of pixel values in each horizontal line that are continuous in the vertical direction are stored continuously in the column address direction,
For a non-reduced reference image used in motion vector search with the search accuracy of the dense search, a plurality of pixel values in one horizontal line of the reference image are assigned to a plurality of the addresses continuous in the column address direction. And, after the pixel value at the right end of the horizontal line, the pixel value at the left end in the next horizontal line continuous in the vertical direction of the reference image is stored in the column address direction continuously. An image processing method characterized by the above.

画像データを所定の大きさのブロックに分割し、当該ブロック毎に動きベクトルを求めて動き補償を用いた動画像信号の予測符号化を行う画像処理方法をコンピュータに実行させるプログラムであって、
行アドレスと列アドレスにより一意に記憶領域が定まり、かつ前記列アドレス方向にはデータの連続した読み出しが可能であって、前記行アドレスと前記列アドレスとの組み合わせにより特定される１つのアドレスに対して画像の水平方向に連続する複数の画素値を格納可能な同期型メモリに参照画像を格納するデータ格納ステップと、
前記同期型メモリに格納されている、縮小された参照画像を用いて粗探索の探索精度で前記動きベクトルを探索する第１の動き探索ステップと、
前記第１の動き探索ステップで探索した結果に基づいて、前記同期型メモリに格納されている、縮小されていない参照画像を用いて前記粗探索の探索精度より高い密探索の探索精度で前記動きベクトルを探索する第２の動き探索ステップと、
前記第２の動き探索ステップで得られた前記動きベクトルを使用して画像データを予測符号化する符号化ステップとをコンピュータに実行させ、
かつ前記データ格納ステップでは、
前記粗探索の探索精度での動きベクトル探索時に用いる縮小された参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を１つの前記アドレスに対して格納し、かつ、当該参照画像の垂直方向に連続する各水平ラインにおける複数の画素値を前記列アドレス方向に連続して格納するようにし、
前記密探索の探索精度での動きベクトル探索時に用いる縮小されていない参照画像については、当該参照画像の１つの水平ラインにおける複数の画素値を、前記列アドレス方向に連続する複数の前記アドレスに対して格納し、かつ、水平ラインの右端の画素値の次に、当該参照画像の垂直方向に連続する次の水平ラインにおける左端の画素値を前記列アドレス方向に連続して格納するようにしたことを特徴とするプログラム。 A program for causing a computer to execute an image processing method that divides image data into blocks of a predetermined size, obtains a motion vector for each block, and performs predictive coding of a moving image signal using motion compensation,
A storage area is uniquely determined by a row address and a column address, and continuous reading of data is possible in the column address direction. For one address specified by a combination of the row address and the column address A data storage step for storing the reference image in a synchronous memory capable of storing a plurality of pixel values continuous in the horizontal direction of the image;
A first motion search step of searching for the motion vector with a coarse search accuracy using a reduced reference image stored in the synchronous memory;
Based on the result of the search in the first motion search step, the motion with the search accuracy of the dense search higher than the search accuracy of the coarse search using the non-reduced reference image stored in the synchronous memory. A second motion search step for searching for a vector;
An encoding step of predictively encoding image data using the motion vector obtained in the second motion search step;
In the data storing step,
For a reduced reference image used in motion vector search with the search accuracy of the rough search, a plurality of pixel values in one horizontal line of the reference image are stored for one address, and the reference image A plurality of pixel values in each horizontal line that are continuous in the vertical direction are stored continuously in the column address direction,
For a non-reduced reference image used in motion vector search with the search accuracy of the dense search, a plurality of pixel values in one horizontal line of the reference image are assigned to a plurality of the addresses continuous in the column address direction. And, after the pixel value at the right end of the horizontal line, the pixel value at the left end in the next horizontal line continuous in the vertical direction of the reference image is stored in the column address direction continuously. A program characterized by

請求項４記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 5. A computer-readable recording medium on which the program according to claim 4 is recorded.