JP2006186979A - Dynamic image conversion apparatus - Google Patents
Dynamic image conversion apparatus Download PDFInfo
- Publication number
- JP2006186979A JP2006186979A JP2005341009A JP2005341009A JP2006186979A JP 2006186979 A JP2006186979 A JP 2006186979A JP 2005341009 A JP2005341009 A JP 2005341009A JP 2005341009 A JP2005341009 A JP 2005341009A JP 2006186979 A JP2006186979 A JP 2006186979A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- motion
- picture
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、符号化された動画像の符号列を変換する動画像変換装置に関し、特に、異なる動き補償予測方式で符号化された動画像の符号列への変換における変換効率の向上に関する。 The present invention relates to a moving image conversion apparatus that converts a code sequence of a coded moving image, and more particularly to improvement of conversion efficiency in conversion of a moving image encoded by a different motion compensation prediction method into a code sequence.
近年、動画像のデジタル化が進み、動画像がデジタルデータとしてネット等で伝送され、媒体に記録されるようになっている。
これら動画像の色、精細さ、動きの滑らかさ等の要求を満たす為に、そのデータ量は増大しており、通信回線が高速化し蓄積媒体も大容量化してはいるものの、動画像データの圧縮技術が求められた。
In recent years, digitalization of moving images has progressed, and moving images are transmitted as digital data over a network or the like and recorded on a medium.
In order to meet the demands for the color, definition, and smoothness of motion of these moving images, the amount of data has increased, and although the communication line speed has increased and the storage medium has increased in capacity, A compression technique was sought.
そこで、例えば、現行テレビからハイビジョンまでのテレビジョン放送等の高画質の実現を目標としたＭＰＥＧ−２規格、モバイルやインターネットでの利用の為に高圧縮率の実現を目標とするＭＰＥＧ−４規格などの符号化圧縮方式が開発された。
これらは、それぞれの特徴に応じた用途を有するが、利用者にとっては、相互に動画像を変換できることが望まれる。例えば、ＭＰＥＧ−２規格で録画したテレビ番組をＭＰＥＧ−４規格のデータに変換して携帯再生装置で見ること等が可能となるからである。
Therefore, for example, the MPEG-2 standard with the goal of realizing high image quality such as television broadcasting from the current television to the high-definition, and the MPEG-4 standard with the goal of realizing a high compression ratio for use on mobile and the Internet. Coding compression methods such as were developed.
These have applications according to their characteristics, but it is desirable for users to be able to convert moving images to each other. This is because, for example, a television program recorded according to the MPEG-2 standard can be converted into MPEG-4 standard data and viewed on a portable playback device.
通常、これらのデータ変換は、変換前のデータ、例えばＭＰＥＧ−２規格で符号化されたデータを一旦完全に復号し、その復号された動画像を変換後のデータ形式、例えばＭＰＥＧ−４規格で再度符号化することで行われる。
しかし、この変換方法は、従来からある符号化装置と復号装置とをつなげることで実現できるという利点はあるものの、基本的に動画像の再生時間分の時間がかかってしまうため、ＨＤＤ（Hard Disk Drive）からＤＶＤ（Digital Versatile Disk）などへの高速ダビングに慣れているユーザにとっては利便性が大幅に劣ることになる。
Usually, in these data conversions, data before conversion, for example, data encoded according to the MPEG-2 standard is once completely decoded, and the decoded moving image is converted into a data format after conversion, for example, according to the MPEG-4 standard. This is done by re-encoding.
However, although this conversion method has the advantage that it can be realized by connecting a conventional encoding device and decoding device, it basically takes time for the playback time of a moving image, so a HDD (Hard Disk For users who are accustomed to high-speed dubbing from a drive (DVD) to a DVD (Digital Versatile Disk) or the like, the convenience is greatly deteriorated.
そこで、変換前の符号化データの一部を再利用することでデータ変換の時間の短縮化が図られた。
この変換方法は、変換前後の符号化処理が基本的に同じであることが前提となり、例えば、ＭＰＥＧ−２から、その上位規格のＭＰＥＧ−４へのデータ変換では動きベクトルの再利用がなされ、動きベクトル探索処理にかかる処理時間のカットにより、変換時間の大幅な短縮化が図られた。
Therefore, the data conversion time has been shortened by reusing part of the encoded data before conversion.
This conversion method is based on the premise that the encoding process before and after the conversion is basically the same. For example, in data conversion from MPEG-2 to its higher standard MPEG-4, motion vectors are reused. By reducing the processing time required for the motion vector search process, the conversion time is greatly shortened.
しかし、その逆、すなわちＭＰＥＧ−４からＭＰＥＧ−２へのデータ変換では、動きベクトルの再利用が出来ない場合が生じ得る。
というのは、ＭＰＥＧ−２では、その上位規格のＭＰＥＧ−４がサポートしているブロックサイズや動きベクトル等に関する仕様の全てをサポートしているわけではないからである。具体的には、ＭＰＥＧ−２でサポートしているブロックサイズは１６画素×１６画素のみであるが、ＭＰＥＧ−４では、加えて８画素×８画素のブロックをサポートしている。さらに、ＭＰＥＧ−２では、動きベクトルが１／２画素精度までしか認められていないが、ＭＰＥＧ−４では１／４画素精度まで認められている。
However, in the opposite case, that is, data conversion from MPEG-4 to MPEG-2, motion vectors may not be reused.
This is because MPEG-2 does not support all specifications related to block sizes, motion vectors, and the like that are supported by the higher standard MPEG-4. Specifically, the block size supported by MPEG-2 is only 16 pixels × 16 pixels, but MPEG-4 additionally supports blocks of 8 pixels × 8 pixels. Furthermore, in MPEG-2, motion vectors are allowed only up to ½ pixel accuracy, but in MPEG-4, up to ¼ pixel accuracy is allowed.
これらの違いを解決してデータ変換を行う技術が開発されている（特許文献１）。解決方法を簡単に説明すると、８画素×８画素ブロック４つから得られる４つの動きベクトルから、対応する１６画素×１６画素ブロックの１つの動きベクトルを算出し、また、１／４画素精度での動きベクトルの近傍で再探索を行い、１／２画素精度での動きベクトルを求め利用することで、データ変換を実現している。 A technique for performing data conversion by solving these differences has been developed (Patent Document 1). Briefly describing the solution, one motion vector of a corresponding 16 pixel × 16 pixel block is calculated from four motion vectors obtained from four 8 pixel × 8 pixel blocks, and with a 1/4 pixel accuracy. Data conversion is realized by performing a re-search in the vicinity of the motion vector and obtaining and using a motion vector with 1/2 pixel accuracy.
最近、これらのＭＰＥＧ−２規格、ＭＰＥＧ−４規格に加え、これらと符号化処理が基本的に同じであるＭＰＥＧ−４／ＡＶＣ規格（非特許文献１）が新たに標準化された。
このＭＰＥＧ−４／ＡＶＣ規格は、ＭＰＥＧ−２が対象とするテレビジョン放送などからＭＰＥＧ−４が対象とするモバイルやインターネットでも適用でき、ＱＣＩＦ（Quarter CIF：１８０画素×１４４ライン）〜ＨＤ（High Definition：１９２０画素×１０８０ライン）サイズの画像までを取り扱うことが可能なスケーラブルな規格であり、加えて、他の規格に比べて極めて高い圧縮率を実現する規格である。
Recently, in addition to the MPEG-2 standard and the MPEG-4 standard, the MPEG-4 / AVC standard (Non-Patent Document 1) whose encoding processing is basically the same as these standards has been newly standardized.
This MPEG-4 / AVC standard can also be applied to a mobile or the Internet targeted by MPEG-4 from a television broadcast or the like targeted by MPEG-2. QCIF (Quarter CIF: 180 pixels × 144 lines) to HD (High Definition: 1920 pixels × 1080 lines) is a scalable standard that can handle images up to a size, and in addition, a standard that realizes an extremely high compression rate compared to other standards.
従って、ＭＰＥＧ−４／ＡＶＣ規格が普及すれば、従来のＤＶＤ等の製品と高い親和性を誇るＭＰＥＧ−２規格、ＭＰＥＧ−４規格との間での動画像変換装置の需要が高まることが予測される。
しかし、ＭＰＥＧ−４／ＡＶＣ規格は、その仕様がＭＰＥＧ−４と異なる部分があるため、上記技術を持ってしてもＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２へのデータ変換を行うことが出来ず、変換処理の時間を短縮することができない。
そこで、本発明は、ＭＰＥＧ−４／ＡＶＣ規格からＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格からＭＰＥＧ−４規格等といった異なる符号化方式間でのデータ変換を短時間で行うことが出来る動画像変換装置の提供を目的とする。
However, since the MPEG-4 / AVC standard has a different part from MPEG-4, data conversion from MPEG-4 / AVC to MPEG-2 cannot be performed even with the above technology. The time for the conversion process cannot be shortened.
Accordingly, the present invention provides a moving image capable of performing data conversion between different encoding methods such as MPEG-4 / AVC standard to MPEG-2 standard and MPEG-4 / AVC standard to MPEG-4 standard in a short time. An object is to provide a conversion device.
上記目的を達成するために、本発明に係る動画変換装置は、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置であって、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段とを備えることを特徴とする。 In order to achieve the above object, a moving image conversion apparatus according to the present invention is the same as data encoded according to a second motion compensated prediction method, in which first moving image data encoded according to a first motion compensated prediction method is the same. A moving image conversion apparatus for converting into a second moving image data in a format, wherein one or more motion vectors of a block included in the first moving image data are motion vectors in the second motion compensation prediction method of the block. Selection means for selecting a motion vector that satisfies the condition to be satisfied, and encoding means for performing encoding according to the second motion compensation prediction method, wherein each motion vector selected by the selection means is used to block And an encoding means for performing the encoding.
上記構成の動画変換装置は、変換前の符号化方式で符号化されたブロックの動きベクトルが、変換後の符号化方式での条件に合致するとして選ばれた場合には、変換前の動きベクトルを用いて変換後の符号化方式で符号化を行うので、従来のような動き探索により動きベクトルを求める必要がなくなり、データ変換の処理時間を短縮することができるようになる。 When the motion vector of the block encoded by the encoding method before the conversion is selected as the condition of the encoding method after the conversion is selected, the moving image conversion device having the above configuration is the motion vector before the conversion. Since the encoding is performed by the encoding method after conversion using, there is no need to obtain a motion vector by a conventional motion search, and the data conversion processing time can be shortened.
また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、動き探索により特定した動きベクトルを用いる代わりに、前記選出された各動きベクトルをそのまま用いて符号化を行うこととしてもよい。
これにより、動き探索をまったく行わずに、変換前の動きベクトルをそのまま用いる事ができるので、変換処理にかかる時間を大幅に短縮する事が出来るようになる。
In addition, in the encoding using the selected motion vectors, the encoding means performs the encoding using the selected motion vectors as they are instead of using the motion vector specified by the motion search. It is good as well.
As a result, since the motion vector before conversion can be used as it is without performing any motion search, the time required for the conversion process can be greatly reduced.
また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、各動きベクトルが指す参照画像上の位置を基準とする所定の探索範囲であって、当該動きベクトルが示す参照ブロックを含む探索範囲について動き探索を行い、当該動きベクトルを用いる代わりに、動き探索の結果得られる動きベクトルを用いてブロックの符号化を行うこととしてもよい。 In the encoding using each selected motion vector, the encoding means is a predetermined search range based on a position on a reference image indicated by each motion vector, and the motion vector indicates Instead of performing a motion search for a search range including a reference block and using the motion vector, a block may be encoded using a motion vector obtained as a result of the motion search.
これにより、変換前の動きベクトルを基準とする所定の探索範囲のみを探索して動きベクトルを求めるので、動きベクトルに頼らずに、広範囲から探索を行う従来の場合と比べて、探索範囲を絞り込むことができて、探索にかかる計算量を少なくすることができ、変換処理にかかる時間を大幅に短縮する事が出来るようになる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像の符号化タイプを制限するものであり、前記選出手段は、前記条件を満たす動きベクトルを選出することとしてもよい。
As a result, only the predetermined search range based on the motion vector before conversion is searched to obtain the motion vector, so that the search range is narrowed compared to the conventional case where the search is performed from a wide range without relying on the motion vector. As a result, the amount of calculation required for the search can be reduced, and the time required for the conversion process can be greatly shortened.
Further, the condition to be satisfied by the motion vector selected by the selection means is to limit the encoding type of the reference image of the block, and the selection means may select a motion vector that satisfies the condition.
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像の符号化タイプを制限するものであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たさない場合には、その参照画像を前記条件を満たす参照画像に替えて、その動きベクトルを選出することとしてもよい。
これにより、変換前の動きベクトルをそのまま用いて、変換後の符号化方式において参照が許される参照画像にある参照ブロックを予測信号として用いる、また、変換後の符号化方式において参照が許される別の参照画像にある参照ブロックを予測信号として用いるので、動きベクトル探索のための計算が不要となり、処理時間を短縮することができるようになる。
The condition to be satisfied by the motion vector selected by the selection means is to limit the encoding type of the reference image of the block, and the selection means refers to the motion vector of the block included in the first moving image data. When the image does not satisfy the condition, the motion vector may be selected by replacing the reference image with a reference image that satisfies the condition.
As a result, the motion vector before the conversion is used as it is, the reference block in the reference image that is allowed to be referred to in the encoded encoding method is used as the prediction signal, and the reference is allowed in the encoded encoding method. Since the reference block in the reference image is used as the prediction signal, the calculation for the motion vector search becomes unnecessary, and the processing time can be shortened.
また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、各動きベクトルが指す参照画像上の位置を基準とする所定の探索範囲であって、当該動きベクトルが示す参照ブロックを含む探索範囲について動き探索を行い、当該動きベクトルを用いる代わりに、動き探索の結果得られる動きベクトルを用いてブロックの符号化を行うこととしてもよい。 In the encoding using each selected motion vector, the encoding means is a predetermined search range based on a position on a reference image indicated by each motion vector, and the motion vector indicates Instead of performing a motion search for a search range including a reference block and using the motion vector, a block may be encoded using a motion vector obtained as a result of the motion search.
これにより、参照が許される別の参照画像上で、変換前の第１動画像中の動きベクトルを基準とする所定の探索範囲を探索して動きベクトルを求めるので、一から動きベクトルを探索する場合よりも探索範囲を絞りこむことができ、処理時間を短縮することができる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの動きベクトルが１つである場合は、その動きベクトルの参照画像は当該ブロックの含まれる画像より前に表示される画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの１つが前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。
Accordingly, a motion vector is obtained by searching a predetermined search range based on the motion vector in the first moving image before conversion on another reference image that is allowed to be referenced. The search range can be narrowed down compared to the case, and the processing time can be shortened.
The condition to be satisfied by the motion vector selected by the selection means is that when the motion vector of the block is one, the reference image of the motion vector is an image displayed before the image including the block. In other words, the selection means may select a motion vector when one of the motion vectors of the block included in the first moving image data satisfies the condition.
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの動きベクトルが２つである場合には、そのうちの１の動きベクトルの参照画像は当該ブロックの含まれる画像より前に表示される画像であることであり、他の動きベクトルの参照画像は当該ブロックの含まれる画像より後に表示される画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの２つが前記条件を満たす場合には、その２つの動きベクトルを選出することとしてもよい。 The condition that the motion vector selected by the selection means should satisfy is that when the motion vector of a block is two, the reference image of one of the motion vectors is displayed before the image including the block. The reference image of the other motion vector is an image that is displayed after the image including the block, and the selecting means is a motion of the block included in the first moving image data. If two of the vectors satisfy the condition, the two motion vectors may be selected.
また、前記選出手段が選出する動きベクトルが満たすべき条件は、画像の表示順序において、ブロックが含まれる画像と当該ブロックの参照画像との間に表示される画像の符号化タイプが所定のタイプであることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。 The condition that the motion vector selected by the selection means should satisfy is that the encoding type of the image displayed between the image including the block and the reference image of the block is a predetermined type in the image display order. In other words, the selection means may select the motion vector when the reference image of the motion vector of the block included in the first moving image data satisfies the condition.
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像が、当該ブロックの含まれる画像の表示から、表示時間順で最も近い過去のＰピクチャ又はＩピクチャの画像、あるいは最も近い将来のＰピクチャ又はＩピクチャの画像、あるいは当該ブロックの含まれる画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。 The condition to be satisfied by the motion vector selected by the selection means is that the reference image of the block is the image of the past P picture or I picture that is closest in display time order from the display of the image including the block, or the most It is an image of a P picture or an I picture in the near future, or an image including the block, and the selection unit is configured such that the reference image of the motion vector of the block included in the first moving image data satisfies the condition Alternatively, the motion vector may be selected.
また、第１動画像データに含まれるブロックの動きベクトルの数が２つであり、 前記選出手段は、前記条件を満たす動きベクトルを１つだけ選出した場合、前記符号化手段は、当該１つの動きベクトルを用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することとしてもよい。 Further, when the number of motion vectors of the block included in the first moving image data is two, and the selecting means selects only one motion vector that satisfies the condition, the encoding means Encoding a block using a motion vector and changing the information indicating the motion prediction type of the block from a motion prediction type using two motion vectors to a motion prediction type using one motion vector It is good.
また、前記条件は、ブロックの参照ブロックが、当該参照ブロックの含まれる参照画像内にすべて存在することであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照ブロックが前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。
また、前記選出手段は、選出されなかった動きベクトルのうち、その動きベクトルを補正することによって補正後の動きベクトルの参照ブロックが参照画像内に存在することとなる場合には、当該補正後の動きベクトルを選出することとしてもよい。
Further, the condition is that all the reference blocks of the block are present in the reference image including the reference block, and the selecting means includes the reference block of the motion vector of the block included in the first moving image data. If the condition is satisfied, the motion vector may be selected.
In addition, if the reference block of the motion vector after the correction exists in the reference image by correcting the motion vector among the motion vectors that have not been selected, A motion vector may be selected.
これにより、変換前の動きベクトルのうち、変換後の符号化方式に適合する動きベクトルを選べるので、選んだ動きベクトルを再利用して符号化することが出来るようになる。
また、第１の動き補償予測方式は、ＭＰＥＧ４−ＡＶＣ規格に則ったものであることとしてもよい。
これにより、ＭＰＥＧ−４／ＡＶＣ規格で符号化したデータを、他の規格で符号化したデータの形式と同じ形式に変換することができる。
Thereby, since the motion vector suitable for the encoding system after conversion can be selected among the motion vectors before conversion, the selected motion vector can be reused and encoded.
Further, the first motion compensation prediction method may be based on the MPEG4-AVC standard.
Thereby, the data encoded by the MPEG-4 / AVC standard can be converted into the same format as the data encoded by another standard.
また、第２の動き補償予測方式は、ＭＰＥＧ２規格又はＭＰＥＧ４規格に則ったものであることとしてもよい。
これにより、ＭＰＥＧ−４／ＡＶＣ規格などの規格で符号化したデータを、ＭＰＥＧ−２規格で符号化したデータの形式と同じ形式に変換することができる。
また、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換方法は、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。
Further, the second motion compensation prediction method may be based on the MPEG2 standard or the MPEG4 standard.
As a result, data encoded according to a standard such as the MPEG-4 / AVC standard can be converted into the same format as the data encoded according to the MPEG-2 standard.
Also, a moving image conversion method for converting the first moving image data encoded according to the first motion compensation prediction method into the second moving image data having the same format as the data encoded according to the second motion compensation prediction method is provided. Selecting a motion vector satisfying a condition to be a motion vector in the second motion compensation prediction method of the block from one or more motion vectors of the block included in the first moving image data; An encoding step for performing encoding according to the motion compensated prediction method, wherein the block is encoded using each motion vector selected in the selection step.
また、コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムは、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。 In addition, the second moving image having the same format as the data encoded according to the second motion compensation prediction method is converted from the first moving image data encoded according to the first motion compensation prediction method to an apparatus capable of executing a computer program. The computer program for performing the moving image conversion process for converting into data becomes a motion vector in the second motion compensation prediction method of the block from one or more motion vectors of the block included in the first moving image data. A selection step for selecting a motion vector satisfying a power condition, and an encoding step for performing encoding according to the second motion compensation prediction method, wherein each motion vector selected in the selection step is used to code a block And an encoding step for performing the conversion.
また、コンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。 A computer-readable recording medium having a computer program recorded thereon, wherein the computer program stores, on a device capable of executing the computer program, first moving image data encoded according to a first motion compensation prediction method. A computer program for performing a moving image conversion process for converting into second moving image data in the same format as data encoded according to the motion compensation prediction method of No. 2, wherein one or more blocks included in the first moving image data A selection step for selecting a motion vector satisfying a condition to be a motion vector in the second motion compensated prediction method for the block, and a code for performing encoding according to the second motion compensated prediction method Using the motion vectors selected in the selection step. Characterized in that it comprises an encoding step of performing-coding.
また、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置の集積回路は、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段と を備えることを特徴とする。 In addition, a moving image conversion apparatus that converts first moving image data encoded according to a first motion compensation prediction method into second moving image data having the same format as data encoded according to a second motion compensation prediction method. An integrated circuit that selects, from one or more motion vectors of a block included in the first moving image data, a motion vector that satisfies a condition to be a motion vector in the second motion compensation prediction method of the block; Encoding means for performing encoding according to a second motion compensation prediction method, and encoding means for encoding a block using each motion vector selected by the selecting means. And
＜実施形態１＞
＜概要＞
本発明にかかる動画像変換装置は、ＭＰＥＧ−４／ＡＶＣ規格で符号化されたデータを、ＭＰＥＧ−２規格で符号化したデータの形式に変換する装置であり、この変換の際に動きベクトルを再利用することを特徴としている。これらの符号化方式は、動き補償予測方式であるという点で符号化の基本を同じくすることから、符号化データの共通の構成要素である動きベクトルの再利用を行う。
<
<Overview>
A moving image conversion apparatus according to the present invention is an apparatus that converts data encoded according to the MPEG-4 / AVC standard into a data format encoded according to the MPEG-2 standard, and a motion vector is converted during the conversion. It is characterized by reuse. Since these encoding methods share the same basic encoding in that they are motion compensated prediction methods, motion vectors that are common components of encoded data are reused.
ＭＰＥＧ符号化処理においては、動きベクトル探索処理量が非常に大きくなるという特徴があることから、動きベクトル探索処理を減らすことは、符号化処理時間の大幅な短縮となり、利便性が大きく向上することになる。
まず、ここで、ＭＰＥＧ−４／ＡＶＣ規格とＭＰＥＧ−２規格の動きベクトルの相違について図２３〜図２６を用いて説明しておく。
Since the MPEG encoding process has a feature that the amount of motion vector search processing becomes very large, reducing the motion vector search process significantly reduces the encoding processing time and greatly improves convenience. become.
First, the difference in motion vectors between the MPEG-4 / AVC standard and the MPEG-2 standard will be described with reference to FIGS.
＜ＭＰＥＧ−４／ＡＶＣ規格とＭＰＥＧ２規格の相違＞
ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２のビデオストリームについて、図を用いて簡単に説明する。これらのビデオストリームは、基本的に同じ形をしている。
＜ビデオストリーム＞
図２３は、ビデオストリームのデータ構造を示す図である。
<Differences between MPEG-4 / AVC standard and MPEG2 standard>
MPEG-4 / AVC and MPEG-2 video streams will be briefly described with reference to the drawings. These video streams have basically the same shape.
<Video stream>
FIG. 23 is a diagram illustrating a data structure of a video stream.
ビデオストリームは、画像の空間周波数成分に基づいて圧縮されており、画面上の数画素を一つの圧縮単位としている。その圧縮単位をマクロブロックといい、画面は複数のマクロブロックで構成される。図２４は、１画面が(0,0)〜(i,j)のマクロブロックで構成されている図である。
このマクロブロックは、例えば、縦16画素×横16画素からなり、復号時にも１個単位で復号処理がなされる。
The video stream is compressed based on the spatial frequency component of the image, and several pixels on the screen are used as one compression unit. The compression unit is called a macro block, and the screen is composed of a plurality of macro blocks. FIG. 24 is a diagram in which one screen is composed of macroblocks (0, 0) to (i, j).
This macroblock is composed of, for example, 16 pixels vertically × 16 pixels horizontally, and decoding processing is performed in units of one at the time of decoding.
図２３の第１段目は、ビデオストリームの構成を示す。
ビデオストリームは、複数のGOP（Group of Picture）で、構成され（１段目の図参照）、GOPは、Iピクチャ、Bピクチャ、Pピクチャという３つのタイプのピクチャデータ（図中のI,P,B）を1以上含み、先頭には必ずIピクチャが存在する（２段目の図参照）。
さらに、各ピクチャデータは、ピクチャヘッダと、複数のスライスから構成され（３段目の図参照）、ピクチャヘッダにはピクチャタイプが含まれる。このピクチャタイプは、ピクチャデータがIピクチャであるか、Bピクチャ、Pピクチャであるかを示す。
The first level in FIG. 23 shows the configuration of the video stream.
The video stream is composed of a plurality of GOPs (Group of Picture) (see the first figure), and the GOP has three types of picture data (I, P in the figure): I picture, B picture, and P picture. , B) including one or more, and an I picture always exists at the head (see the second figure).
Further, each picture data is composed of a picture header and a plurality of slices (see the third stage figure), and the picture header includes a picture type. This picture type indicates whether the picture data is an I picture, a B picture, or a P picture.
ただし、ＭＰＥＧ−４／ＡＶＣでは、ピクチャタイプそのものが入っているのではなく、ピクチャに含まれるスライスタイプが入っており、それらのスライスタイプからピクチャタイプを求めることになる。
スライスは、スライスヘッダと、複数のマクロブロックとを有し（４段目の図参照）、スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスデータがIスライスであるか、Bスライス、Pスライスであるかを示す。
However, in MPEG-4 / AVC, the picture type itself is not included, but the slice type included in the picture is included, and the picture type is obtained from these slice types.
A slice has a slice header and a plurality of macroblocks (see the fourth figure), and the slice header includes a slice type. This slice type indicates whether the slice data is an I slice, a B slice, or a P slice.
ただし、このスライスタイプは、ＭＰＥＧ−４／ＡＶＣのデータにのみ存在する。すなわち、ＭＰＥＧ−４／ＡＶＣでは、ピクチャに複数タイプのスライスが存在するが、ＭＰＥＧ−２では、１種類のスライスタイプのみが存在する。
次に、マクロブロック２３００は、マクロブロックタイプ２３１０、動き情報２３２０および画面間予測誤差２３３０とで構成される。
However, this slice type exists only in MPEG-4 / AVC data. That is, in MPEG-4 / AVC, there are multiple types of slices in a picture, but in MPEG-2, there is only one type of slice.
Next, the
マクロブロックタイプは、このマクロブロックが画面間予測が必要なものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものであり、このタイプによって動き情報の形式も異なることになる。
動き情報は、参照するピクチャを特定する参照ピクチャ２３２１と、動きベクトル２３２２とで構成される。
The macro block type represents information such as whether or not this macro block requires inter-screen prediction and whether it is a one-way reference or a two-way reference, and the type of motion information differs depending on this type. It will be.
The motion information includes a
図では、２方向参照の動き情報の例を示している。「ref.idx0」と「ref.idx1」とは、参照ピクチャを示す番号であり、「mv0」と「mv1」とは、参照ピクチャそれぞれにおける動きベクトルを表す。
ただし、この動き情報の例はＭＰＥＧ−４／ＡＶＣ規格におけるものであり、ＭＰＥＧ−２規格では、参照ピクチャを示す番号であるところの「ref.idx0」等は存在しない。ＭＰＥＧ−２では、参照可能なピクチャが決まっている為、データとして持っておく必要が無いからである。
In the figure, an example of motion information with reference to two directions is shown. “Ref.idx0” and “ref.idx1” are numbers indicating reference pictures, and “mv0” and “mv1” represent motion vectors in the respective reference pictures.
However, this example of motion information is in the MPEG-4 / AVC standard, and in the MPEG-2 standard, there is no “ref.idx0” that is a number indicating a reference picture. This is because in MPEG-2, since a picture that can be referred to is determined, it is not necessary to have it as data.
本発明では、ＭＰＥＧ−４／ＡＶＣの動きベクトルを再利用して、ＭＰＥＧ−２の動きベクトルを作成するが、利用できる動きベクトルによっては、マクロブロックタイプや参照ピクチャが変更される。
画面間予測誤差２３３０は、参照画像と対象画像の差分を表す。
＜Ｉ／Ｐ／Ｂピクチャ＞
ここで、Ｉピクチャとは、自画面内の情報のみを用いた符号化により得られる画面であり、Ｐピクチャとは１画面との１方向予測符号化によって得られる画面であり、Ｂピクチャとは２画面との２方向予測符号化によって得られる画面をいう。
In the present invention, an MPEG-2 motion vector is created by reusing an MPEG-4 / AVC motion vector, but the macroblock type and reference picture are changed depending on the available motion vector.
The
<I / P / B picture>
Here, the I picture is a screen obtained by encoding using only information in the own screen, the P picture is a screen obtained by one-way predictive encoding with one screen, and the B picture is A screen obtained by bi-directional predictive encoding with two screens.
また、Ｉピクチャに含まれるマクロブロックはすべて、（１）自画面内の情報のみで得られるマクロブロックであり、Ｐピクチャに含まれるマクロブロックは（１）自画面内の情報のみで得られるマクロブロックと（２）１画面との１方向予測符号化によって得られるマクロブロックとで構成され、Ｂピクチャに含まれるマクロブロックは（１）自画面内の情報のみで得られるマクロブロックと（２）１画面との１方向予測符号化によって得られるマクロブロックと（３）２画面との２方向予測符号化によって得られる画面とで構成される。これらの種類を表すのが、マクロブロックタイプである（図２３参照）。 Further, all macroblocks included in the I picture are (1) macroblocks obtained only from information in the own screen, and macroblocks included in the P picture are (1) macros obtained only from information in the own screen. The block is composed of a block and (2) a macroblock obtained by one-way predictive coding with one screen, and the macroblock included in the B picture is (1) a macroblock obtained only with information in the own screen, and (2) It consists of a macroblock obtained by one-way predictive coding with one screen and (3) a screen obtained by two-way predictive coding with two screens. These types are represented by macroblock types (see FIG. 23).
このマクロブロックタイプのうち、ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２とでサポートしているものに違いがあるため、この違いを解消することが、本発明の目的ともいえる。これらの違いについては、以下の＜動きベクトルの相違＞で説明する。
また、ＭＰＥＧ−４／ＡＶＣでは、Ｉ／Ｐ／Ｂの各スライスも上述したピクチャと同じタイプのマクロブロックで構成され、ＩピクチャはＩスライスのみ、ＰピクチャはＩスライスとＰスライスとで構成され、ＢピクチャはＩスライスとＰスライスとＢスライスとで構成される。従って、ＭＰＥＧ−４／ＡＶＣのピクチャもＭＰＥＧ−２のピクチャもそれぞれ同じタイプのマクロブロックを含む事となるため、本実施形態では、ピクチャで説明することとする。
Since there is a difference in the macro block types supported by MPEG-4 / AVC and MPEG-2, it can be said that the object of the present invention is to eliminate this difference. These differences will be described in <Motion vector difference> below.
In MPEG-4 / AVC, each slice of I / P / B is also composed of macroblocks of the same type as the picture described above, the I picture is composed of only I slices, and the P picture is composed of I slices and P slices. , B picture is composed of I slice, P slice and B slice. Accordingly, the MPEG-4 / AVC picture and the MPEG-2 picture each include the same type of macroblock, and therefore, in the present embodiment, description will be made using pictures.
尚、実際のＭＰＥＧ−４／ＡＶＣではスライス単位で処理を行っていることから、スライス単位で本発明を実施してもよい。
＜動きベクトルの相違＞
ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２との動きベクトルの相違は、参照画像選択の自由度の違いである。ＭＰＥＧ−４／ＡＶＣでは圧縮率を上げるために参照画像の選択の幅を広げている。
In actual MPEG-4 / AVC, since processing is performed in units of slices, the present invention may be implemented in units of slices.
<Difference in motion vector>
The difference in motion vector between MPEG-4 / AVC and MPEG-2 is the difference in the degree of freedom of reference image selection. In MPEG-4 / AVC, the range of selection of reference images is expanded in order to increase the compression rate.
図２５は、ＭＰＥＧ−２の動きベクトル例を示したものであり、図２５（ａ）は、Ｐピクチャの例であり、図２５（ｂ）は、Ｂピクチャの例である。図２６は、ＭＰＥＧ−４／ＡＶＣの動きベクトル例を示したものであり、図２６（ａ）と図２６（ｂ）はＢピクチャの例である。これらの図において「Ｉ／Ｐ／Ｂ」等は、ＩピクチャまたはＰピクチャまたはＢピクチャ等を表すものとし、また、矢印は、参照ブロックの方から対象ブロックを指すものとする（図５等においても同様。）。 FIG. 25 shows an example of a motion vector of MPEG-2, FIG. 25 (a) shows an example of a P picture, and FIG. 25 (b) shows an example of a B picture. FIG. 26 shows an example of a motion vector of MPEG-4 / AVC, and FIGS. 26A and 26B are examples of a B picture. In these figures, “I / P / B” or the like represents an I picture, a P picture, a B picture, or the like, and an arrow indicates a target block from the reference block (in FIG. 5 or the like). The same is true.)
まず、Ｉピクチャは、時間方向の動き予測を行わずに自画面内だけで独立して符号化して得られることから、これらの規格間で変換は可能である。
ただし、ＭＰＥＧ−２のＩピクチャを構成するマクロブロックは、すべて自マクロブロックのみで符号化が可能である（非参照）が、ＭＰＥＧ−４／ＡＶＣのＩピクチャを構成するマクロブロックは、この非参照のマクロブロックのほかに、自画面内の他のマクロブロック（左上、上、右上、左）を参照して対象ブロックを符号化するマクロブロックがある（画面内予測）。
First, the I picture can be converted between these standards because it is obtained by encoding independently only within the own screen without performing motion prediction in the time direction.
However, all of the macroblocks constituting the MPEG-2 I picture can be encoded only by the own macroblock (non-reference), but the macroblock constituting the MPEG-4 / AVC I picture is the non-macroblock. In addition to the reference macroblock, there is a macroblock that encodes the target block with reference to other macroblocks (upper left, upper, upper right, and left) in the own screen (intra prediction).
データ変換の際には、この画面内予測タイプのマクロブロックを非参照タイプのマクロブロックに変換する。この場合は対象のマクロブロックのみを符号化するだけでよいため、少ない処理時間で変換が可能である。
次に、Ｐピクチャ及びＢピクチャに関しては、規格間で大きく３つの相違点がある。
１つは、参照画像とすることができるピクチャの種類が異なることであり、２つは、参照画像とできるピクチャの時間的距離であり、３つは、時間的方向である。
At the time of data conversion, the intra prediction type macroblock is converted into a non-reference type macroblock. In this case, since only the target macroblock needs to be encoded, the conversion can be performed with a small processing time.
Next, regarding the P picture and the B picture, there are three major differences between the standards.
One is that the types of pictures that can be used as reference images are different, two is the temporal distance between pictures that can be used as reference images, and three is the temporal direction.
ピクチャの種類で言えば、ＭＰＥＧ−２は、ＩピクチャまたはＰピクチャでなければならない（図２５（ａ）参照）が、ＭＰＥＧ−４／ＡＶＣでは、Ｂピクチャも参照画像とすることが可能である（図２６（ａ）参照）。
また、参照画像とできるピクチャの時間的距離としては、ＭＰＥＧ−２では、時間的に直近のピクチャに限られる。例えば、ＭＰＥＧ−２のＰピクチャは、「最も近い過去のＩピクチャあるいはＰピクチャ」を参照画像とする必要がある（図２５（ａ）参照）。
In terms of picture types, MPEG-2 must be an I picture or a P picture (see FIG. 25A), but in MPEG-4 / AVC, a B picture can also be a reference picture. (See FIG. 26 (a)).
In addition, the temporal distance between pictures that can be used as reference images is limited to the temporally nearest picture in MPEG-2. For example, an MPEG-2 P picture needs to use “the closest past I picture or P picture” as a reference image (see FIG. 25A).
しかし、ＭＰＥＧ−４／ＡＶＣでは、Ｐピクチャの場合は、直近の１６枚分のピクチャを参照画像とすることが可能であり、例えば、Ｂピクチャは、過去、将来のそれぞれ１６枚分のピクチャを参照画像とすることが可能である（図２６（ａ）参照）。
さらに、時間的方向の制約としては、ＭＰＥＧ−２のＢピクチャでは、前方向及び後方に一枚ずつ参照画像を選択する必要がある。例えば、Ｂピクチャのブロックに対する動きベクトル２本のうち、１本は「時間順で最も近い過去のＰピクチャあるいはＩピクチャ」を参照画像とし、他の１本を「時間順で最も近い将来のＰピクチャあるいはＩピクチャ」を参照画像とする必要があった（図２５（ｂ）参照）。
However, in MPEG-4 / AVC, in the case of a P picture, the latest 16 pictures can be used as reference images. For example, a B picture is a picture of 16 pictures in the past and future. A reference image can be used (see FIG. 26A).
Furthermore, as a restriction in the temporal direction, it is necessary to select one reference image forward and backward in the MPEG-2 B picture. For example, of the two motion vectors for a block of B picture, one of them is “the closest P picture or I picture that is closest in time order” as a reference image, and the other one is “the future P picture that is closest in time order” It is necessary to use “picture or I picture” as a reference image (see FIG. 25B).
しかし、ＭＰＥＧ−４／ＡＶＣでは、前方向から２枚、あるいは後方向から２枚を参照画像として選択することも可能である（図２６（ｂ）参照）。
これらの違いをマクロブロックタイプを基にまとめると、次のようになる。
尚、この表での「前方」とは、時間的に前方のピクチャを参照する前方参照を意味し、「後方」とは、時間的に後方のピクチャを参照する後方参照を意味するものとする。
However, in MPEG-4 / AVC, two images from the front direction or two images from the rear direction can be selected as reference images (see FIG. 26B).
These differences are summarized based on the macroblock type as follows.
In this table, “forward” means a forward reference that refers to a temporally forward picture, and “backward” means a backward reference that refers to a temporally backward picture. .
以下、本発明の実施形態における動画像変換装置について、図面を用いて説明する。
＜機能＞
図１は、動画像変換装置の構成を示すブロック図である。
同図において動画像変換装置１００は、外部から入力されるＭＰＥＧ−４／ＡＶＣ形式の動画像をＭＰＥＧ−２形式の動画像に変換して出力する装置であって、復号部１０、符号化部２０及び動きベクトル構成部３０から構成される。
Hereinafter, a moving image conversion apparatus according to an embodiment of the present invention will be described with reference to the drawings.
<Function>
FIG. 1 is a block diagram illustrating a configuration of a moving image conversion apparatus.
In FIG. 1, a moving
復号部１０はＭＰＥＧ−４／ＡＶＣ形式の動画像データを入力とし、復号する。また、復号部２０は、復号部１０で復号された動画像を入力とし、ＭＰＥＧ−２形式の動画像データに符号化する。
ここでの復号部１０は、各機能部は従来の復号装置と基本的に同じである。但し、本発明に特有の処理を行う為のデータの流れがあり（太線矢印）、これらについては、後述する動きベクトル構成部３０の説明において述べる。
The
Here, the
符号化部２０は、従来の符号化部と比べ、動きベクトル探索を行う機能部がない点が特徴である。本発明が動きベクトルを再利用することを特徴とするため、従来のような動きベクトルの探索を行う必要がないからである。
その代わりに、動きベクトル構成部３０が新たに設けられている。
動きベクトル構成部３０は、ＭＰＥＧ−４／ＡＶＣ形式の動画像に含まれる動きベクトル等が再利用できるかどうかを判定し、判定結果に応じて動き補償予測部２８に再利用のためのデータや指示を送る。
Compared to the conventional encoding unit, the
Instead, a motion
The motion
以下、まず復号部１０及び符号化部２０の構成を簡単に説明し、続いて動きベクトル構成部３０について説明する。
＜復号部１０＞
復号部１０は、可変長復号部１１、逆量子化部１２、逆直交変換部１３、加算部１４、フレームメモリ１５及び動き補償部１６から構成される。
Hereinafter, first, the configurations of the
<Decoding
The
可変長復号部１１は、ＭＰＥＧ−４／ＡＶＣ形式により符号化された動画像の符号列が外部より入力されると、可変長復号を行い、ピクチャタイプ、マクロブロックタイプ、動き情報、量子化係数等を分離する。
逆量子化部１２及び逆直交変換部１３は、分離されたブロック毎の量子化係数に対して逆量子化及び逆直交変換を行ってブロック毎の画素データを得る。
The variable
The
加算部１４は、マクロブロックタイプが示す符号化の種類によって、ブロック毎の画素データをそのまま、あるいは動き補償部１６からの予測信号を加えて出力する。
フレームメモリ１５は、加算部１４からの出力のうち、参照画像として用いるための画面に相当する画素データを蓄積する。
動き補償部１６は、動き補償予測されたブロックについて、可変長復号部１１から得られる動き情報とフレームメモリ１５に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部１４に出力する。
The
The
The
フレームメモリ１５に蓄積する画像データについては、後の＜復号部１０のフレームメモリ１５の内容＞で詳しく説明する。
＜符号化部２０＞
符号化部２０は、減算部２１、直交変換部２２、量子化部２３、逆量子化部２４、逆直交変換部２５、加算部２６、フレームメモリ２７、動き補償予測部２８及び可変長符号化部２９から構成される。
The image data stored in the
<
The
減算部２１は、加算部１４から入力されるブロックの画素データをそのまま、あるいは動き補償予測部２８からの予測信号との減算によって残差信号を出力する。
直交変換部２２及び量子化部２３は、減算部２１からのブロックデータを直交変換及び量子化して出力する。
逆量子化部２４、逆直交変換部２５及び加算部２７は、逆直交変換及び逆量子化及び予測信号の加算によりブロックの画素データを復元してフレームメモリ２７に出力する。
The subtracting
The
The
フレームメモリ２７は、復元されたブロックの画素データからなる参照画像を記憶保持する。
動き補償予測部２８は、動き補償予測の対象のブロックについて、予測信号及び動きベクトルを求め、予測信号を減算部２１と加算部２６とに出力し、動きベクトルを可変長符号化部２９へ出力する。
The
The motion
動き補償予測部２８が動きベクトルを求める際の処理方法は、一般的には、動き探索により参照画像上から動きベクトルを求める方法である。
しかし、本発明では、その他に、動きベクトル構成部３０により出力される動きベクトルをそのまま、あるいはその動きベクトルを基準とする周辺の画像を参照画像上から探索して求める方法によっても動きベクトルを求める。
The processing method used when the motion
However, in the present invention, the motion vector is also obtained by a method for obtaining the motion vector output from the motion
可変長符号化部２９は、量子化部２３より出力されるブロックデータと動き補償予測部２８より出力される動きベクトル及びマクロブロックタイプを可変長符号化し、その結果のＭＰＥＧ−２形式の符号化列を出力する。
＜復号部１０のフレームメモリ１５の内容＞
次に、復号部１０のフレームメモリ１５に記憶されている参照画像について、図２７と図２８とを用いて説明する。
The variable
<Contents of
Next, reference images stored in the
本実施形態では、動きベクトル構成部３０で、動きベクトルが再利用するか否かを判定するが、フレームメモリ１５は、その判定の際に必要な情報を記憶している。
図２７は、フレームメモリ１５に格納される画像の関係を示す図である。
図２７（ａ）は、ＧＯＰに含まれる複数のピクチャを表す図であり、図２７（ｂ）は、ピクチャの表示順を表す図であり、図２７（ｃ）は、フレームメモリを表す図である。
In this embodiment, the motion
FIG. 27 is a diagram showing the relationship of images stored in the
FIG. 27A is a diagram showing a plurality of pictures included in a GOP, FIG. 27B is a diagram showing the display order of pictures, and FIG. 27C is a diagram showing a frame memory. is there.
ＧＯＰ内のピクチャは、表示順ではなく、復号時に参照が可能な順に並んでいる。例えば、「B5」は「I1」「B3」を参照ピクチャとしているため、「I1」「B3」は「B5」より前に位置している（図２７（ａ）参照）が、表示は「B5」が「B3」より前である（図２７（ｂ）参照）などである。
このＧＯＰ内のピクチャ順で復号されて、所定数のピクチャがフレームメモリに格納される。
The pictures in the GOP are arranged in the order in which they can be referred to during decoding, not in the display order. For example, since “B5” has “I1” and “B3” as reference pictures, “I1” and “B3” are positioned before “B5” (see FIG. 27A), but the display is “B5”. "Is before" B3 "(see FIG. 27B).
Decoding is performed in the order of pictures in the GOP, and a predetermined number of pictures are stored in the frame memory.
例えば、所定数が６である場合には、６つのピクチャがフレームメモリに格納され、表示順序が管理される。また、「B5」が対象ピクチャである場合には、他のピクチャに参照ピクチャ番号が昇順に振られる（図２７（ｂ）参照）。
フレームメモリに格納されたピクチャは、後続のピクチャから参照されるピクチャである「参照ピクチャ」と、後続のピクチャでは参照されないが表示されるべき順序に並べ替えて表示されるタイミングまで一時的に格納される「非参照ピクチャ」とに分類される。例えば、B5は非参照ピクチャで、「I1」と「B3」は参照ピクチャである（図２７（ｃ）参照）。
For example, when the predetermined number is 6, six pictures are stored in the frame memory, and the display order is managed. When “B5” is the target picture, reference picture numbers are assigned to other pictures in ascending order (see FIG. 27B).
The pictures stored in the frame memory are temporarily stored until they are displayed in the “reference picture”, which is a picture that is referenced from the subsequent picture, and in the order in which they should not be referenced but displayed in the subsequent picture. Are classified as “non-reference pictures”. For example, B5 is a non-reference picture, and “I1” and “B3” are reference pictures (see FIG. 27C).
参照ピクチャは、参照されなくなれば、非参照ピクチャとなり、表示すべき順序で順次表示されていく。
ここでのピクチャは、図２４に示すような、復号された複数のマクロブロックで構成されており、これらの画像データのほか、管理用のデータも格納している。
図２８は、フレームメモリに格納されている参照ピクチャの管理用データの例を示す図である。
When the reference picture is no longer referred to, it becomes a non-reference picture and is sequentially displayed in the order to be displayed.
The picture here is composed of a plurality of decoded macroblocks as shown in FIG. 24, and stores management data in addition to these image data.
FIG. 28 is a diagram illustrating an example of reference picture management data stored in the frame memory.
図２８（ａ）は、参照ピクチャリスト２８００の例を表す図である。
この参照ピクチャリスト２８００は、フレームメモリに格納されている参照ピクチャを管理するもので、フレームメモリに格納されているものとする。また、この参照ピクチャリスト２８００の内容は、ピクチャが表示されたり、新しいピクチャが格納された時点で、更新される。
FIG. 28A is a diagram illustrating an example of the
This
参照ピクチャリスト２８００は、表示順序２８０１、ピクチャタイプ２８０２および格納アドレス２８０３で構成される。
表示順序２８０１は、対象ブロックが参照ピクチャ２３２１を特定するための識別番号である。例えば、図２７（ｂ）においては、「B5」に含まれるマクロブロックの参照ピクチャ２３２１は、「ref.idx0」が「1」、「ref.idx1」が「4」となる（図２３参照）。
The
The
この参照番号は、対象ピクチャを基準として、表示順に昇順で振られており、対象ブロックの前方のピクチャか後方のピクチャかがわかる、所定の法則で振られているものとする。尚、この方法は、図２７（ｂ）の方法に限られない。
ピクチャタイプ２８０２は、このピクチャの符号化タイプを表し、ピクチャデータのピクチャタイプ（図２３第３段目参照）が格納される。
This reference number is assumed to be assigned in ascending order in the display order with the target picture as a reference, and it is assumed that the reference number is assigned according to a predetermined rule that indicates whether the picture is in front of or behind the target block. This method is not limited to the method shown in FIG.
A
アドレス２８０３は、画像データ（図２４参照）が格納されているフレームメモリ内のアドレスを表す。
図２８（ｂ）は、マクロブロックアドレスリスト２８２０の例を示す図である。
マクロブロックを特定するマクロブロック位置２８２１と、そのブロックの画像データが格納されているフレームメモリ１５内のアドレス２８２２とで構成される。通常、ピクチャの画像データは連続領域に格納されることから、格納アドレス２８０３があれば各マクロブロックのアドレスは求めることが可能であるが、本実施形態では、説明の便宜上、マクロブロックアドレスリスト２８２０を持っているものとする。
An
FIG. 28B is a diagram showing an example of the
A
符号化部２０のフレームメモリ２７の内容もほぼ同じである。異なるのは、ピクチャタイプ２８０２を記憶していない点である。符号化においては、不要だからである。
＜動きベクトル構成部３０＞
動きベクトル構成部３０は、判定部３１、プログラム記憶部３２及び予測制御部３３から構成される。
The contents of the
<Motion
The motion
プログラム記憶部３２は、動き補償予測部２８の処理方法を決定するためのプログラムを予め記憶する。
判定部３１は、プログラム記憶部３２に記憶されているプログラムを実行することにより、動き補償予測部２８に行わせるべき処理方法を決定し、決定した処理方法に応じた指示を予測制御部３３に行わせる。予測制御部３３は、決定された処理方法に応じて動き補償予測部２８に指示を与える。
The
The
より具体的に言うと、判定部３１は、動き情報２３２０を可変長復号部１１から受信し、その中の動きベクトル２３２２（図２３参照）と、参照ピクチャ２３２１のピクチャタイプ２８０２（図２８参照）とを基に、新しい動き情報を作成し、符号化部１０は、この新しい動き情報で符号化処理を行う。
ピクチャタイプ２８０２は、可変長復号部１１から送られてフレームメモリ１５に一旦格納されていたものから、該当するピクチャのピクチャタイプを取得する。
More specifically, the
The
以下に動きベクトル構成部３０の処理を詳しく説明する。
図２〜４は、プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャートである。各図中のＡ〜Ｅの記号は、結合子であり、図面間の同じ記号の結合子どうしが結合して１つのフローチャートを表している。
プログラムの内容は、簡単には、ステップ（１）：ＭＰＥＧ−４／ＡＶＣ形式の動画像におけるマクロブロックと、それに対応する参照画像との組み合わせの関係を特定し、ステップ（２）：その関係がＭＰＥＧ−２形式で規定されている関係についての条件に適合するかどうかを判定し、ステップ（３）：判定結果に応じて動き補償予測部２８に行わせるべき処理方法を決定する、というものである。図面との対応は、上記（１）が図２全体に対応し、上記（２）が図３のステップＳ３０１〜Ｓ３０４及び図４のステップＳ４０１〜Ｓ４０４に対応し、上記（３）が図３のステップＳ３０５〜Ｓ３１２及び図４のステップＳ４０５〜Ｓ４１０に対応する。
Hereinafter, the processing of the motion
2 to 4 are flowcharts showing the procedure of the program stored in the
The contents of the program are simply as follows: Step (1): The relationship between the macro block in the MPEG-4 / AVC format moving image and the corresponding reference image is specified. Step (2): The relationship is It is determined whether or not the condition regarding the relationship defined in the MPEG-2 format is met, and step (3): a processing method to be performed by the motion
ＡＵデリミタ（Access Unit Delimiter）とは、ピクチャの先頭に付されて、先頭位置を示すものである。このＡＵデリミタには、そのピクチャに含まれるスライスのスライスタイプを示す情報であるprimary_pic_typeが含まれる。これを利用して、判定部３１は、可変長復号されたデータの中に、ＡＵデリミタが存在する場合には、それに含まれるprimary_pic_typeを取得し、primary_pic_typeが示すスライスタイプからピクチャタイプを特定する。
An AU delimiter (Access Unit Delimiter) is attached to the head of a picture and indicates the head position. This AU delimiter includes primary_pic_type which is information indicating the slice type of the slice included in the picture. Using this, when the AU delimiter is present in the variable-length decoded data, the
スライスタイプは、スライス内のマクロブロックの符号化モードを限定するものである。より詳しくは、Ｐスライスは、画面内符号化及び参照ピクチャ１枚を用いた画面間予測符号化を行うスライスである。Ｂスライスは、画面内符号化及び参照ピクチャを１枚又は２枚用いた画面間予測符号化を行うスライスである。Ｉスライスは、画面内符号化のみを行うスライスである。ＭＰＥＧ−４／ＡＶＣでは、スライス毎にスライスの種類を示すスライスタイプが付され、１つのピクチャ内に単一又は複数のスライスタイプが含まれる。そこで、判定部３１は、ピクチャ内の全てのスライスが同一のスライスタイプであれば、そのスライスタイプをピクチャタイプとする。例えば、すべてのスライスがＰスライスであれば、そのピクチャをＰピクチャと特定し、すべてのスライスがＩスライスであれば、そのピクチャをＩピクチャと特定する。
The slice type limits the coding mode of the macroblock in the slice. More specifically, the P slice is a slice for performing intra-picture coding and inter-picture predictive coding using one reference picture. The B slice is a slice for performing intra-picture coding and inter-picture predictive coding using one or two reference pictures. The I slice is a slice that performs only intra-frame coding. In MPEG-4 / AVC, a slice type indicating the type of slice is attached to each slice, and a single picture or a plurality of slice types are included in one picture. Therefore, if all the slices in the picture are the same slice type, the
ピクチャに複数のスライスが混在する場合には、判定部３１は、Ｂスライスが含まれている場合にはＢピクチャと特定し、Ｂスライスが含まれずにＰスライスが含まれている場合にはＰピクチャと特定する。例えば、ピクチャにＩ、Ｐ、Ｂスライスが含まれている場合、判定部３１は、Ｂスライスが含まれていることにより、Ｂピクチャと特定する。Ｉ、Ｐスライスが含まれており、Ｂスライスが含まれていない場合には、Ｐスライスが含まれていることによりＰピクチャと特定する。
When a plurality of slices are mixed in the picture, the
ピクチャタイプの特定は、上記の方法に限らない。例えば、判定部３１は、可変長復号部１１により分離される各種データのうち、ピクチャ内の各スライスからスライスタイプを取得して取得されたスライスタイプからピクチャタイプを特定してもよい。このとき、ピクチャ内の全てのスライスタイプを取得する必要はなく、ピクチャ内のスライスタイプを順次取得する過程で１つでもＢスライスがあれば、Ｂピクチャと特定するよう構成してもよい。
The specification of the picture type is not limited to the above method. For example, the
このようにしてピクチャタイプを特定すると、次に判定部３１は、ステップＳ２０２、Ｓ２０５、Ｓ２０６において、可変長復号により分離された符号化情報から、対象ブロックのマクロブロック２３００（図２３参照）を取得し、マクロブロックタイプ２３１０あるいはサブマクロブロックタイプを取得してそれらに示されている予測モードを判断する。
When the picture type is specified in this way, next, the
ピクチャの先頭でピクチャタイプを判断したら、その後はＡＵデリミタが現れるまで、そのピクチャタイプの特定は行わない。
まず、対象ブロックがＰピクチャであるか否か（ステップＳ２０１）、Ｂピクチャであるか否か（ステップＳ２０４）を判断し、対象ブロックが含まれるピクチャのピクチャタイプ「Ｉ／Ｐ／Ｂ」を振り分ける。
When the picture type is determined at the head of the picture, the picture type is not specified until an AU delimiter appears thereafter.
First, it is determined whether the target block is a P picture (step S201) or a B picture (step S204), and the picture type “I / P / B” of the picture including the target block is allocated. .
Ｉピクチャである場合には（ステップＳ２０４：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）
Ｐピクチャである場合（ステップＳ２０１：ＹＥＳ）には、予測モードが画面間予測であるか否か（ステップＳ２０２）を判断し、画面間予測であれば（ステップＳ２０２：ＹＥＳ）、フレームメモリ１５から動きベクトルの参照画像の取得を行う（ステップＳ２０３）。
If it is an I picture (step S204: NO), there is no motion vector to be reused, and the process moves to a process not using a motion vector (D).
If it is a P picture (step S201: YES), it is determined whether or not the prediction mode is inter-screen prediction (step S202). If it is inter-screen prediction (step S202: YES), the
ここで、参照画像の取得は、マクロブロック２３００の参照ピクチャ２３２１に対応する表示順序２８０１の格納アドレス２８０３（図２８参照）から画面データを取得することで行う。また、同時に参照ピクチャリスト２８００も取得する。
画面内予測か非参照であれば（ステップＳ２０２：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）。
Here, the reference image is acquired by acquiring screen data from the storage address 2803 (see FIG. 28) of the
If the prediction is in-screen prediction or non-reference (step S202: NO), there is no motion vector to be reused, and the process moves to a process not using a motion vector (D).
Ｂピクチャである場合には（ステップＳ２０４：ＹＥＳ）、予測モードが画面間予測であるか否か（ステップＳ２０５）を判断し、画面間予測である場合には、さらに、１方向参照か否か（２方向参照）（ステップＳ２０６）を判断し、それぞれ動きベクトルの参照画像の取得を行なう（ステップＳ２０７、ステップＳ２０８）。
以下、ピクチャタイプごとに説明する。
If it is a B picture (step S204: YES), it is determined whether or not the prediction mode is inter-screen prediction (step S205). (Reference to two directions) (step S206) is determined, and reference images of motion vectors are respectively acquired (step S207 and step S208).
Hereinafter, each picture type will be described.
（Ｐピクチャの場合）
まず、Ｐピクチャの場合（Ａ）について説明する（図３参照）。
ステップＳ３０１において判定部３１は、Ｐピクチャの対象ブロックと参照画像との関係がＭＰＥＧ−２形式の規定に適合するかどうかを判定する。
ここにおいて、Ｐピクチャのブロックと参照画像についてのＭＰＥＧ−２の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャであること」である。
(P picture)
First, the case of P picture (A) will be described (see FIG. 3).
In step S301, the
Here, the MPEG-2 standard for P picture blocks and reference pictures is that the reference picture is the past P picture or I picture that is closest in time to the picture of the target block.
すなわち、ステップＳ２０３でフレームメモリから取得した参照ピクチャリスト２８００を参照し、該当する参照画像のピクチャタイプ２８０２が「Ｐ／Ｉ」であれば適合すると判断する。
また、該当する参照画像の表示順序２８０１より小さい番号のピクチャタイプ２８０２がすべて「Ｂ」であれば、時間的に最も近いと判断する。例えば、図２７（ｂ）において、参照画像の参照ピクチャ番号が「1」の場合、参照ピクチャ番号「0」のピクチャタイプ、すなわち、表示順序２８０１が「3」のピクチャタイプ２８０２が「B」であれば、時間的に最も近いと判断される。
In other words, the
If all the
このピクチャタイプ２８０２を参照してピクチャタイプの適合を判断する方法と、表示順序２８０３から時間的にもっとも近い判断する方法は、以下の適合判定においても同じである。
判定の結果、適合する場合は、参照可能であると判断し（ステップＳ３０２：ＹＥＳ）、動きベクトル等をＭＰＥＧ−２の符号化に利用するために、ステップＳ３０５に進む。
The method for determining the matching of the picture type with reference to the
As a result of the determination, if it matches, it is determined that reference is possible (step S302: YES), and the process proceeds to step S305 in order to use the motion vector or the like for MPEG-2 encoding.
適合せずに参照不可能と判断した場合は（ステップＳ３０２：ＮＯ）、動きベクトルを利用しない処理（ステップ３０９）に進む。
（Ｂピクチャ：１方向参照）
次に、Ｂピクチャで、１方向参照の場合（Ｂ）について説明する（図３参照）。
ステップＳ３０３において判定部３１は、Ｂピクチャの対象ブロックと１方向参照の参照画像との関係について、ＭＰＥＧ−２の条件に適合するかどうかを判定する。ここにおいて、Ｂピクチャのマクロブロックと１枚の参照画像についてのＭＰＥＧ−２の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャ又はＩピクチャであること」である。
If it is determined that the reference is impossible without matching (step S302: NO), the process proceeds to a process not using a motion vector (step 309).
(B picture: see 1 direction)
Next, the case (B) of referring to one direction in a B picture will be described (see FIG. 3).
In step S303, the
判定の結果、適合する場合は、参照可能であると判断し（ステップＳ３０４：ＹＥＳ）、動きベクトル等ＭＰＥＧ−２の符号化に利用するために、ステップＳ３０７に進む。
適合せずに参照不可能と判断した場合は（ステップＳ３０４：ＮＯ）、動きベクトルを利用しない処理（ステップ３０９）に進む。
（Ｂピクチャ：２方向参照）
次に、Ｂピクチャで、２方向参照の場合（Ｃ）について説明する（図４参照）。
As a result of the determination, if it matches, it is determined that it can be referred to (step S304: YES), and the process proceeds to step S307 for use in MPEG-2 encoding such as a motion vector.
If it is determined that reference is impossible without matching (step S304: NO), the process proceeds to a process not using a motion vector (step 309).
(B picture: see 2 directions)
Next, the case (C) in which the B picture is referred to in two directions will be described (see FIG. 4).
ステップＳ４０１において判定部３１は、Ｂピクチャの対象ブロックと２方向参照の参照画像との関係について、ＭＰＥＧ−２の条件に適合するかどうかを判定する。ここにおいて、Ｂピクチャのブロックと２枚の参照画像についてのＭＰＥＧ−２の規定は、「２枚参照画像のうち、一方の参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャであり、他方の参照画像が、対象ブロックのピクチャから時間順で最も近い将来のＰピクチャあるいはＩピクチャであること」である。
In step S <b> 401, the
この判定において判定部３１は、以下に示すように、判定の結果をステップＳ４０２、Ｓ４０３、Ｓ４０４及びその他（Ｅ）の４種類に分類する。
まず1つ目は、１つ参照画像のみが、最も近い過去または将来のＩ／Ｐピクチャである。
２つ目は、２つの参照画像ともに、最も近い過去または将来のＩ／またはＰピクチャである。
In this determination, the
First, only one reference image is the closest past or future I / P picture.
The second is the closest past or future I / or P picture for both of the two reference images.
また、３つ目は、１つが最も近い過去のＩ／Ｐピクチャで、１つが最も近い将来のＩ／Ｐピクチャである。
４つ目は、その他、すなわち、２つの参照画像ともに適合しない場合である。
ステップＳ４０２において、２枚の参照画像のうち１枚がＭＰＥＧ−２の規定に適合すると判定した場合、ステップＳ４０５に処理を進める。
The third is the closest past I / P picture, and the one is the closest future I / P picture.
The fourth is the other case, that is, the case where the two reference images are not compatible.
If it is determined in step S402 that one of the two reference images conforms to the MPEG-2 standard, the process proceeds to step S405.
ステップＳ４０３において、２枚の参照画像のどちらもＭＰＥＧ−２の規定に適合し、かつ、２枚とも前方参照又は２枚とも後方参照である場合、判定部３１は、ステップＳ４０７に処理を進める。
ステップＳ４０４において、２枚の参照画像のどちらもＭＰＥＧ−２の規定に適合し、かつ、一方の参照画像が前方参照で他方の参照画像が後方参照である場合、判定部３１は、ステップＳ４０９に処理を進める。
In step S403, if both of the two reference images conform to the MPEG-2 standard and both are forward reference or both are backward reference, the
In step S404, if both of the two reference images conform to the MPEG-2 standard, and one reference image is a forward reference and the other reference image is a backward reference, the
その他（ステップＳ４０４：ＮＯ）の場合は、（Ｅ）へ進む。
（ステップ（３））
最後に、判定部は、ステップ（２）における判定結果に応じて、動き補償予測部２８に行わせるべき処理方法を決定し、決定に応じて予測制御部３３が動き補償予測部２８に処理方法を指示する。
In other cases (step S404: NO), the process proceeds to (E).
(Step (3))
Finally, the determination unit determines a processing method to be performed by the motion
以下、ピクチャタイプごとに説明する。
（Ｐピクチャ）
ＭＰＥＧ−４／ＡＶＣにおけるＰピクチャの対象ブロックに対する参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ３０５）。再利用とはつまり、動き補償予測部２８が、参照画像から動き探索によって動きベクトルを探索する代わりに、ＭＰＥＧ−４／ＡＶＣの動きベクトルをＭＰＥＧ−２の動きベクトルとしてそのまま利用して符号化することを意味する。
Hereinafter, each picture type will be described.
(P picture)
When the reference image for the target block of the P picture in MPEG-4 / AVC is the past P picture or I picture closest in time order to the picture of the target block, the
この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（画面間参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ３０６、図５参照）。
（Ｂピクチャ：１方向参照）
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する１枚の参照画像が、対象ブロックのピクチャから時間順で最も近い過去又は将来のＰピクチャ又はＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ３０７）。
In this case, the
(B picture: see 1 direction)
When one reference image for a block of B picture in MPEG-4 / AVC is a past or future P picture or I picture closest in time order to the picture of the target block, the
この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（一方向参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ３０８、図５参照）。
（Ｂピクチャ：２方向参照）
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像のうちの１枚のみが、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ４０５）。
In this case, the
(B picture: see 2 directions)
In addition, when only one of two reference images for a block of a B picture in MPEG-4 / AVC is a past or future P picture or I picture closest in time to the picture of the target block. The
この場合、判定部３１は、ＭＰＥＧ−２におけるマクロブロックタイプを１方向参照にすることを決定する（ステップＳ４０６、図９参照）。
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合であって、参照方向がどちらも前方参照か又はどちらも後方参照である場合には、判定部３１は、どちらか１つの動きベクトルを選択し、それを再利用させることを決定する（ステップＳ４０７）。
In this case, the
Also, in the MPEG-4 / AVC, the two reference images for the B picture block are both the past or future P picture or I picture closest in time order to the picture of the target block, and the reference direction If both are forward references or both are backward references, the
動きベクトルの選択は、例えば、対応するブロックの残差信号の値が小さい方を選択するよう構成してもよいし、動きベクトルが小さい方を選択するよう構成してもよい。
この場合、判定部３１は、ＭＰＥＧ−２におけるマクロブロックタイプを１方向参照にすることを決定する（ステップＳ４０８、図１０参照）。
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合であって、一方が前方参照で他方が後方参照である場合には、判定部３１は、２つの動きベクトルを再利用させることを決定する（ステップＳ４０９）。
The selection of the motion vector may be configured to select, for example, a smaller value of the residual signal of the corresponding block, or may be configured to select a smaller motion vector.
In this case, the
Also, two reference pictures for a B picture block in MPEG-4 / AVC are both past or future P pictures or I pictures that are closest in time to the picture of the target block, and one of them is If the other is a forward reference and the other is a backward reference, the
この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（両方向参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ４１０、図７参照）。
なお、Ｂピクチャの対象ブロックに対する参照画像が、ＭＰＥＧ−２の規定に適合しない場合には、判定部３１は、対象ブロックの動きベクトルを利用しないことを決定し、ＭＰＥＧ−２におけるマクロブロックタイプを画面間参照なしにする（ステップＳ３０９、Ｓ３１０、図６および図８参照）。
In this case, the
When the reference image for the target block of the B picture does not conform to the MPEG-2 standard, the
（Ｉピクチャ）
Ｉピクチャの対象ブロック、及び、Ｐ／Ｂピクチャにおける非参照、画面内予測の対象ブロックについては、判定部３１は、動きベクトルを利用しないことを決定（ステップＳ３１１）し、またＭＰＥＧ−４／ＡＶＣのマクロブロックタイプ（画面間参照なし）をＭＰＥＧ−２でも維持することを決定する（ステップＳ３１２）。
(I picture)
For the target block of I picture and the target block for non-reference and intra prediction in P / B picture, the
予測制御部３３は、判定部３１の決定に応じて、動き補償予測部２８に、動きベクトル、マクロブロックタイプ、どの画像を参照画像とするかを示す情報等を送り、それらを利用して符号化を行うよう指示する。
具体的には、動きベクトルを再使用できる場合には、動き情報２３２０を、動き補償予測部２８に送信し、再使用できない場合は、その旨を通知することになる。
（動作例）
次に、マクロブロックと参照画像との関係を示す例の図をあげて、動作を説明する。
In response to the determination by the
Specifically, when the motion vector can be reused, the
(Operation example)
Next, the operation will be described with reference to an example of a relationship between the macroblock and the reference image.
ある動画像を本発明にかかる変換装置で変換した場合の入力となる画像を図（ａ）に、出力となる画像を図（ｂ）に示す。
図（ａ）、図（ｂ）ともに、同じ動画像が左から右へ表示順に並ぶものとする。図（ａ）は、対象ブロックについての、ＭＰＥＧ−４／ＡＶＣ形式における参照ブロックとの関係を示しており、図（ｂ）は、図（ａ）と同じ対象ブロックについての変換後のＭＰＥＧ−２形式における参照画像との関係を示している。図５〜図２２まで、同様である。
FIG. (A) shows an input image when a moving image is converted by the conversion apparatus according to the present invention, and (b) shows an output image.
In both FIG. 1 (a) and FIG. 1 (b), the same moving images are arranged in order of display from left to right. Fig. (A) shows the relationship between the target block and the reference block in the MPEG-4 / AVC format, and Fig. (B) shows the MPEG-2 after conversion for the same target block as Fig. (A). The relationship with the reference image in the format is shown. The same applies to FIGS.
まず、典型的なパターンを、図５〜図１０を用いて説明する。
図５は、1方向参照の場合の、動きベクトル利用のケースである。
このケースは、Ｐピクチャの場合と、Ｂピクチャの1方向参照の場合が該当する。
図５（ａ）において、右方のＰピクチャの対象ブロックは（ステップＳ２０１；ＹＥＳ）、前方参照の画面間予測により（ステップＳ２０２；ＹＥＳ）、左方のＩピクチャを参照画像として、その参照ブロックを参照しており、この参照関係は、ＭＰＥＧ−２の規定に適合する（ステップＳ３０２；ＹＥＳ）。このときの動きベクトルはＭＶ１である。
First, typical patterns will be described with reference to FIGS.
FIG. 5 shows a case of using a motion vector in the case of referring to one direction.
This case corresponds to the case of the P picture and the case of referring to the B picture in one direction.
In FIG. 5A, the target block of the right P picture is (step S201; YES), and the reference block of the left I picture is used as a reference image by forward inter-frame prediction (step S202; YES). This reference relationship conforms to the definition of MPEG-2 (step S302; YES). The motion vector at this time is MV1.
この場合、符号化部２０の動き補償予測部２８は、予測制御部３３からの指示に従って、Ｐピクチャの対象ブロックに対し、図５（ｂ）に示すように図５（ａ）と同じ動きベクトルＭＶ１をそのまま利用して、それを動き探索により得られる動きベクトルの代わりに用いて符号化し、またマクロブロックタイプを画面間参照とする。
図６は、マクロブロックタイプの変更を伴う、動きベクトル利用不可のケースである。
In this case, the motion
FIG. 6 shows a case where a motion vector cannot be used, accompanied by a change in the macroblock type.
このケースは、Ｐピクチャの場合と、Ｂピクチャの1方向参照の場合が該当する。
図７は、２方向参照の場合の、動きベクトル利用のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図７（ａ）においては、対象ブロックのピクチャがＢピクチャであって（ステップＳ２０４；ＹＥＳ）、両方向参照の画面間予測をし（ステップＳ２０５；ＹＥＳ、ステップＳ２０６；ＮＯ）、どちらの参照画像もＭＰＥＧ−２の規定において参照可能である（ステップＳ４０４；ＹＥＳ）。よって図７（ｂ）に示すように２つの動きベクトルＭＶ１、ＭＶ２を利用し（ステップＳ４０９）、マクロブロックタイプを両方向参照とする（ステップＳ４１０）。
This case corresponds to the case of the P picture and the case of referring to the B picture in one direction.
FIG. 7 shows a case of using a motion vector in the case of bi-directional reference.
This case corresponds to the case of bi-directional reference of a B picture.
In FIG. 7A, the picture of the target block is a B picture (step S204; YES), and bi-directional reference inter-screen prediction is performed (step S205; YES, step S206; NO). Reference can be made in the MPEG-2 standard (step S404; YES). Therefore, as shown in FIG. 7B, the two motion vectors MV1 and MV2 are used (step S409), and the macroblock type is referred to as bidirectional (step S410).
図８は、２方向参照の場合の、２つの動きベクトル利用不可のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図８（ａ）においては、Ｂピクチャにある対象ブロックは、２つのＢピクチャを参照するが、ＭＰＥＧ−２ではＢピクチャを参照画像とすることはできない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２→Ｓ４０３→Ｓ４０４；ＮＯ）。
FIG. 8 shows a case where two motion vectors cannot be used in the case of bi-directional reference.
This case corresponds to the case of bi-directional reference of a B picture.
In FIG. 8A, the target block in the B picture refers to two B pictures, but in MPEG-2, the B picture cannot be used as a reference image (steps S204 → S205 → S206 → S208 → S401). → S402 → S403 → S404; NO).
よって動き補償予測部２８は、同図（ｂ）に示すように、同図（ａ）における動きベクトルを利用せず、マクロブロックタイプを画面間参照なしとして符号化する（ステップＳ３０９、Ｓ３１０）。
図９は、マクロブロックタイプの変更を伴う、動きベクトル利用のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
Therefore, as shown in FIG. 7B, the motion
FIG. 9 is a case of using a motion vector accompanied by a change of the macroblock type.
This case corresponds to the case of bi-directional reference of a B picture.
図９（ａ）においては、Ｂピクチャにある対象ブロックは、ＩピクチャとＢピクチャを参照する。ＭＰＥＧ−２においてはＩピクチャの参照は許されるが、Ｂピクチャの参照は許されない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２；ＹＥＳ）。
よって動き補償予測部２８は、同図（ｂ）に示すように、Ｉピクチャを参照する動きベクトルＭＶ１を利用し、マクロブロックタイプを１方向の画面間参照とする（ステップＳ３０５、Ｓ３０６）。
In FIG. 9A, the target block in the B picture refers to the I picture and the B picture. In MPEG-2, reference to an I picture is permitted, but reference to a B picture is not permitted (steps S204 → S205 → S206 → S208 → S401 → S402; YES).
Therefore, the motion
図１０は、マクロブロックタイプの変更を伴う、一部の動きベクトル利用不可のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図１０（ａ）においては、Ｂピクチャにある対象ブロックは、前方のＩピクチャにある２つの参照ブロック１及び２を参照する。ＭＰＥＧ−２においては、前方の２つの画像を参照すること、あるいは、後方の２つの画像を参照することは許されていない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２→Ｓ４０３；ＹＥＳ）。
FIG. 10 shows a case where some motion vectors cannot be used, accompanied by a change in macroblock type.
This case corresponds to the case of bi-directional reference of a B picture.
In FIG. 10A, the target block in the B picture refers to the two
よって動き補償予測部２８は、図１０（ｂ）に示すように、２つの動きベクトルＭＶ１、ＭＶ２のうちの一方であるＭＶ１を選択して再利用し、マクロブロックタイプを前２方向参照から前方向参照に替えて符号化する（ステップＳ４０７、Ｓ４０８）。
＜変形例１＞
実施形態１では、動きベクトルの再利用に関して、典型的なパターンを説明したが、動きベクトルの再利用が可能な場合であっても、まったくそのままでは利用できない場合や、そのまま利用しない方がよい場合がある。
Therefore, as shown in FIG. 10B, the motion
<
In the first embodiment, a typical pattern has been described with respect to motion vector reuse. However, even when motion vector reuse is possible, it cannot be used as it is or when it is better not to use it as it is. There is.
前者のそのまま利用できない場合の例を図１１を用いて説明し、後者のそのまま利用しない方がよい場合の例を図１２を用いて説明する。
まず、そのまま利用できない場合としては、画素精度の問題があげられる。
すなわち、ＭＰＥＧ−４／ＡＶＣでは、画素精度が１／４であり、ＭＰＥＧ−２では１／２であるからである。
An example in which the former cannot be used as it is will be described with reference to FIG. 11, and an example in which the latter should not be used as it is, will be described with reference to FIG.
First, when it cannot be used as it is, there is a problem of pixel accuracy.
That is, the pixel accuracy is 1/4 in MPEG-4 / AVC and 1/2 in MPEG-2.
図１１（ａ）は図９（ａ）と同じ状況であり、Ｂピクチャの２つのベクトルのうち、1つのみを再利用するケースであるが、この例に限られないのはもちろんである。
ここでＭＰＥＧ−４／ＡＶＣでは動きベクトルの画素精度が１／４であり、ＭＰＥＧ−２では画素精度が１／２である。よって、動き補償予測部２８は、図１１（ｂ）に示すように、図１１（ａ）の動きベクトルＭＶ１が１／４画素単位で指定されていたら、動きベクトルＭＶ１を１／２精度に丸める補正を行い、その結果得られる動きベクトルＭＶ３を利用して符号化する。この処理は、動きベクトル構成部３０で行い、新しい動きベクトルを動き補償予測部２８に送信する。または、動き補償予測部２８で、行うこととしてもよい。
FIG. 11A shows the same situation as FIG. 9A, in which only one of the two vectors of the B picture is reused. However, the present invention is not limited to this example.
Here, the pixel accuracy of the motion vector is 1/4 in MPEG-4 / AVC, and the pixel accuracy is 1/2 in MPEG-2. Therefore, as shown in FIG. 11 (b), the motion
次に、そのまま利用しない方がよい場合としては、マクロブロックタイプが変更される場合があげられる。
図１２（ａ）は図９（ａ）と同じ状況であり、Ｂピクチャの２つのベクトルのうち、1つのみを再利用するケースであり、マクロブロックタイプが変更となるケースである。
２方向参照の場合、２つの参照ブロック（参照ブロック１および参照ブロック２）の平均をとることで最適な予測画像を得るようになっている。すなわち、少ないデータ量である画面間予測誤差２３３０（図２３参照）を得ることができる。
Next, as a case where it is better not to use it as it is, there is a case where the macroblock type is changed.
FIG. 12A shows the same situation as FIG. 9A, in which only one of the two vectors of the B picture is reused, and the macroblock type is changed.
In the case of bi-directional reference, an optimal predicted image is obtained by taking the average of two reference blocks (
しかし、１つの参照ブロックとすることで、予測画像が変わり、予測画像からの誤差が予想以上に大きくなってしまう可能性がある。
誤差が大きくなる可能性がある場合には、動きベクトルを再度探索し最適な新しい動きベクトルを得る方がよいが、動きベクトル探索の処理量が多いという欠点がある。
そこで、再利用しようとする動きベクトル（MV1）の参照ブロックの近傍のみを再探索範囲とすることで、最適な新しい動きベクトルを得るとともに、処理時間を大幅に短縮することができるようになる。
However, by using one reference block, the predicted image changes, and the error from the predicted image may be larger than expected.
If there is a possibility that the error becomes large, it is better to search the motion vector again to obtain an optimal new motion vector, but there is a drawback that the processing amount of the motion vector search is large.
Therefore, by setting only the vicinity of the reference block of the motion vector (MV1) to be reused as the re-search range, an optimal new motion vector can be obtained and the processing time can be greatly shortened.
図１２（ｂ）に示すように、参照画像上のＭＶ１が指す参照ブロック１の位置を基準とする所定の範囲を再探索することにより、他の動きベクトルＭＶ３を検出し、その動きベクトルＭＶ３を利用して符号化する。
より詳しくは、動き補償予測部２８は、参照ブロック１の座標位置を中心としてｘ及びｙ方向に例えば±３０画素の探索範囲を広げ、その探索範囲の中から動き探索により予測誤差がより小さいブロックを検出し、そのブロックを指す動きベクトルをＭＶ３とする。
As shown in FIG. 12B, another motion vector MV3 is detected by re-searching a predetermined range based on the position of the
More specifically, the motion
動きベクトル構成部３０は、参照画像と参照ブロックを指定し、参照ブロックの近傍の再検索を行う旨の指示を動き補償予測部２８に出すことになる。
動きベクトルの探索範囲に含まれる参照ブロックのデータの求め方として、例えば、動きベクトル構成部３０で、次のように求めることも可能である。
図２９は、対象ブロックと、その近傍のマクロブロックを表す図である。ここで、例えば、探索範囲１に含まれるマクロブロックのデータは、（２，２）、（２，３）等の８つと対象ブロック（３，３）である。
The motion
As a method of obtaining the reference block data included in the motion vector search range, for example, the motion
FIG. 29 is a diagram illustrating a target block and a macroblock in the vicinity thereof. Here, for example, the data of the macroblocks included in the
マクロブロックのデータは、フレームメモリ２７のマクロブロックアドレスリスト２８２０を参照することで、容易に得ることができる。例えば、マクロブロック位置２８２１が「（０，２）」であれば、アドレス２８２２「addr02」から１ブロック分のデータを読込めばよい。
同様に、探索範囲２の場合も、その範囲が含まれるマクロブロック（１，１）等を読込む。
The macro block data can be easily obtained by referring to the macro
Similarly, in the case of the
＜変形例２＞
ここでは、実施形態１で動きベクトルの再利用が不可と判断される場合であっても、その動きベクトルの参照ブロックを変えることで、再利用を可能とする場合を説明する。
参照ブロックを変えることで、予測誤差が増えることが考えられるが、動きベクトルの再探索処理を行う必要がないという利点がある。
<
Here, even when it is determined that the motion vector cannot be reused in the first embodiment, a case where the reuse can be performed by changing the reference block of the motion vector will be described.
Although it is conceivable that the prediction error increases by changing the reference block, there is an advantage that it is not necessary to perform a re-search process of the motion vector.
図１３（ａ）は、図９（ａ）と同じ状況である。
図９（ｂ）では、動きベクトル「ＭＶ２」を捨てて、動きベクトル「ＭＶ１」だけを利用して符号化している。
これに対し、図１３（ｂ）に示すように、動きベクトル「ＭＶ２」の代わりに動きベクトル「ＭＶ３」を利用して符号化してもよい。
FIG. 13A shows the same situation as FIG.
In FIG. 9B, the motion vector “MV2” is discarded and only the motion vector “MV1” is used for encoding.
On the other hand, as shown in FIG. 13B, encoding may be performed using the motion vector “MV3” instead of the motion vector “MV2”.
動きベクトル「ＭＶ３」は動きベクトル「ＭＶ２」と同じ空間座標を指す同じ値であるが、指している参照画像が、元の参照画像と時間的に近いIピクチャまたはＰピクチャである点が異なる。
時間的に近い画像は、画像の画素値が類似している可能性が高いからである。
動き補償予測部２８は、参照画像３を、対象ブロックとの関係がＭＰＥＧ−２の規定に適合する画像の中から選択する。この処理は、動きベクトル構成部３０で行うこととしてもよい。
The motion vector “MV3” has the same value indicating the same spatial coordinates as the motion vector “MV2”, but the point that the pointing reference image is an I picture or P picture temporally close to the original reference image is different.
This is because images that are close in time are likely to have similar pixel values.
The motion
参照ブロック３は、対象ブロックとの誤差が大きくなる可能性があるので、参照ブロック３の周辺の所定範囲を探索して、誤差が小さい参照ブロックを見つけるように構成してもよい（後述の図２１参照）。
＜実施形態２＞
実施形態１では、フレームの例を扱ってきたが、図１４〜１６のようにフィールド構造に適用してもよい。
Since the
<
In the first embodiment, an example of a frame has been dealt with, but it may be applied to a field structure as shown in FIGS.
フィールドとは、１枚のフレーム（画面）を２つに分けたものであり、奇数番目の走査線の集合であるＴｏｐフィールドと、偶数番目の走査線の集合であるＢｏｔｔｏｍフィールドの２つである。
例えば、通常のテレビでは、ＴｏｐフィールドとＢｏｔｔｏｍフィールドを交互に表示する方式が採用されており、インターレース方式と呼ばれている。
The field is obtained by dividing one frame (screen) into two, a Top field that is a set of odd-numbered scan lines and a Bottom field that is a set of even-numbered scan lines. .
For example, in a normal television, a method of alternately displaying a Top field and a Bottom field is adopted, which is called an interlace method.
このような画面構造の場合、１枚のフィールドを１枚のフレームのように扱って、符号化を行うことが可能である。
すなわち、フィールドをフレームに置き換えて、実施形態１で説明したようなデータ形式の変換、すなわち、高圧縮の符号化方式で作成された動画像データをＭＰＥＧ−２のデータに変換することが可能になる。
In the case of such a screen structure, it is possible to perform encoding by handling one field like one frame.
That is, it is possible to replace the field with a frame and convert the data format as described in the first embodiment, that is, convert the moving image data created by the high compression encoding method into MPEG-2 data. Become.
ここで、ＭＰＥＧ−２規格の仕様をみてみると、Ｐピクチャ、Ｉピクチャともに、自フィールド双方から、参照画像の双方のフィールドを参照することが可能である。加えて、Ｉピクチャの場合は、ＢｏｔｔｏｍフィールドのマクロブロックはＴｏｐフィールドを参照できることとなっている。
詳細には、ＭＰＥＧ−２のフィールド構造において、参照画像として認められるのは、符号化対象のピクチャがIピクチャの場合は、Ｔｏｐフィールドは参照不可、Ｂｏｔｔｏｍフィールドに限りトップフィールドを参照可能であり、Pピクチャの場合は、Ｔｏｐフィールド、Ｂｏｔｔｏｍフィールドとも時間順で最も近い過去のPピクチャあるいはIピクチャの両フィールドを参照可能であり、Ｂピクチャの場合は、Ｔｏｐフィールド、Ｂｏｔｔｏｍフィールドとも、１つは時間順で最も近い過去のＰピクチャあるいはＩピクチャの両フィールドを参照可能、１つは時間順で最も近い将来のＰピクチャあるいはＩピクチャの両フィールドを参照可能である。この制約は、ＭＰＥＧ−４でも同様である。
Here, looking at the specifications of the MPEG-2 standard, it is possible to refer to both fields of the reference image from both the own field for both the P picture and the I picture. In addition, in the case of an I picture, the Macro field in the Bottom field can refer to the Top field.
More specifically, in the MPEG-2 field structure, the reference image is recognized as a reference image when the picture to be encoded is an I picture, the Top field cannot be referred to, and the top field can be referred to only in the Bottom field. In the case of a P picture, both the Top field and the Bottom field can refer to the past P picture field or the I picture field that is closest in time order. In the case of a B picture, one is a time field in both the Top field and the Bottom field. It is possible to refer to both fields of the past P picture or I picture that are closest in order, and one can refer to both fields of the future P picture or I picture that are closest in time order. This restriction is the same in MPEG-4.
従って、現在のＭＰＥＧ−４／ＡＶＣと同様な制限で、参照画像のフレーム参照を可能とするような規格においては、実施形態１と同様な変換が可能となる。
例えば、図１４の例では、参照画像が「Ｉピクチャのボトムフィールド」と「Ｂピクチャのトップフィールド」であり、ＭＰＥＧ−２の参照画像としては、前者だけが参照可能である。よって、マクロブロックタイプを１方向参照に変更することで前者を参照画像として動きベクトルを再利用することが可能となる。
Therefore, in a standard that enables frame reference of a reference image with the same restrictions as the current MPEG-4 / AVC, conversion similar to that in the first embodiment is possible.
For example, in the example of FIG. 14, the reference images are “bottom field of I picture” and “top field of B picture”, and only the former can be referred to as the MPEG-2 reference image. Therefore, by changing the macroblock type to one-way reference, the motion vector can be reused with the former as a reference image.
現在、ＭＰＥＧ−２規格では、ＭＰＥＧ−４／ＡＶＣ規格においてほど自由な、フレーム間の参照はサポートされていないが、将来サポートされる場合が考えられる。
というのは、ＭＰＥＧ−２、ＭＰＥＧ−４以降に登場する動画像符号化方式では、ＭＰＥＧ−４／ＡＶＣのように、圧縮率を上げるために参照画像の自由度が上がる傾向になることが予想されるからである。
Currently, the MPEG-2 standard does not support inter-frame references as freely as in the MPEG-4 / AVC standard, but may be supported in the future.
This is because the moving picture coding schemes appearing after MPEG-2 and MPEG-4 tend to increase the degree of freedom of reference images in order to increase the compression rate, as in MPEG-4 / AVC. Because it is done.
予想される符号化方式の１つとして、現在のＭＰＥＧ−２規格に加えて、ＢピクチャのＢｏｔｔｏｍフィールドは同フレームのＴｏｐフィールドを参照できるが、ＭＰＥＧ２と同様、他のＢピクチャを参照できない、といった方式が考えられる。
すなわち、この方式は、ＭＰＥＧ−２の参照画像の制約よりは自由度を高くし、ＭＰＥＧ−４／ＡＶＣの制約よりは自由度の低い、動画像符号化方式といえるものである。
As one of the expected encoding methods, in addition to the current MPEG-2 standard, the Bottom field of a B picture can refer to the Top field of the same frame, but other MPEG pictures cannot be referred to as in MPEG2. A method is conceivable.
That is, this method can be said to be a moving image encoding method that has a higher degree of freedom than the restriction of the MPEG-2 reference image and a lower degree of freedom than the restriction of the MPEG-4 / AVC.
ＭＰＥＧ−４／ＡＶＣのように、参照画像の候補を最大１６フレーム（３２ピクチャ）まで可能とすると、復号時に参照画像をメモリに残しておく必要があるため、デコーダに要求されるメモリ量が多くなるなど、負荷がかかるようになるためである。
ＭＰＥＧ−４／ＡＶＣから、このような参照画像の制約を持つ動画像符号化方式への変換の方法について図１５に示す。
Like MPEG-4 / AVC, if reference image candidates can be up to 16 frames (32 pictures), it is necessary to leave the reference image in memory at the time of decoding. This is because a load is applied.
FIG. 15 shows a method of conversion from MPEG-4 / AVC to a moving picture coding system having such a reference picture restriction.
図１５の例は、参照画像がＢピクチャであるので、動きベクトルは利用せずに、同一フレーム内のフィールド参照のみを再利用する例である。
ＭＰＥＧ−２のような制約を持つ符号化方式Ａでは、対象画面がＢピクチャであるので、いずれの動きベクトルも再利用はできないが、「ＢピクチャのＢｏｔｔｏｍフィールドは同フレームのＴｏｐフィールドを参照できる」という制約を持つ符号化方式Ｂでは、同一フレーム内のフィールド参照の動きベクトルは再利用が可能となる。
The example in FIG. 15 is an example in which only the field reference in the same frame is reused without using the motion vector because the reference image is a B picture.
In the encoding system A having restrictions such as MPEG-2, since the target screen is a B picture, any motion vector cannot be reused, but “the bottom field of a B picture can refer to the Top field of the same frame. In the encoding method B having the constraint “”, the motion vector of the field reference in the same frame can be reused.
図１５では、予想される符号化形式の１つとして、ＭＰＥＧ−２の参照画像の制約に加えて、同フレーム内であれば参照可能という符号化方式を想定して説明を行ったが、他のいかなる参照画像を持つ符号化方式においても、同様の説明が成り立つ。
例えば、上述した予想される符号化形式の１つ（符号化方式Ｂ）で符号化された動画像から、ＭＰＥＧ−２に変換する際にも同様のことが考えられる。この場合の例として、図１６に示すように２つの動きベクトルのうち、１つの動きベクトルだけが再利用可能となる。ＭＰＥＧ−２では、Ｂピクチャの同フレーム内参照はできないためである。図１６（ａ）は、上記符号化方式Ｂでの動きベクトルを表し、図１６（ｂ）は、ＭＰＥＧ−２での動きベクトルを表す。
＜実施形態３＞
実施形態１では、ＭＰＥＧ−４／ＡＶＣ形式のデータ内に存在する動きベクトルの再利用について説明したが、本実施形態では、データ内に存在しないが、マクロブロックを復号する際に動的に求められる動きベクトルを再利用する場合について説明する。
In FIG. 15, as one of the expected encoding formats, the description has been made assuming an encoding method in which reference is possible within the same frame in addition to the restriction of the reference image of MPEG-2. The same explanation holds true for any coding scheme having any reference image.
For example, the same may be considered when converting a moving image encoded in one of the above-described expected encoding formats (encoding method B) to MPEG-2. As an example of this case, as shown in FIG. 16, only one of the two motion vectors can be reused. This is because MPEG-2 cannot refer to the B picture within the same frame. FIG. 16A shows a motion vector in the encoding method B, and FIG. 16B shows a motion vector in MPEG-2.
<
In the first embodiment, the reuse of motion vectors present in MPEG-4 / AVC format data has been described. In the present embodiment, although not present in the data, it is dynamically obtained when decoding a macroblock. A case where a motion vector to be reused will be described.
ＭＰＥＧ−４／ＡＶＣでは、動きベクトルがなくても参照画像を参照することができるダイレクトモードが定義されている。
ダイレクトモードは、圧縮効率を上げる為に設けられたものであり、動き情報を他のブロックの動き情報から予測生成する符号化モードである。すなわち、動き情報に関するデータの量を減らすことができる。
In MPEG-4 / AVC, a direct mode is defined in which a reference image can be referred to without a motion vector.
The direct mode is provided in order to increase the compression efficiency, and is a coding mode for predicting and generating motion information from motion information of other blocks. That is, the amount of data relating to motion information can be reduced.
ＭＰＥＧ−２では、ダイレクトモードがサポートされておらず、ＭＰＥＧ−４／ＡＶＣからの変換において、再利用する動きベクトルがないので参照画像を参照させることができない。
本実施形態は、ＭＰＥＧ−４／ＡＶＣの復号時に算出した仮想的な動きベクトルをＭＰＥＧ−２の動きベクトルとして利用するものである。すなわち、ＭＰＥＧ−４／ＡＶＣでは存在していなかった動きベクトルを算出してＭＰＥＧ−２で付加することとなる。
In MPEG-2, the direct mode is not supported, and in the conversion from MPEG-4 / AVC, there is no motion vector to be reused, so that the reference image cannot be referred to.
In this embodiment, a virtual motion vector calculated at the time of MPEG-4 / AVC decoding is used as a motion vector of MPEG-2. That is, a motion vector that did not exist in MPEG-4 / AVC is calculated and added in MPEG-2.
ダイレクトモードには２種類あり、それぞれに図１７と図１８を用いて説明する。
図１７を用いて、１つ目のダイレクトモードの動き情報生成について説明する。
１つ目のダイレクトモードは、周辺位置のマクロブロックの動きベクトル情報を利用して、対象となるマクロブロックの動きベクトルを仮想的に求めるスペーシャルダイレクトモードである。
There are two types of direct mode, which will be described with reference to FIGS.
The first direct mode motion information generation will be described with reference to FIG.
The first direct mode is a spatial direct mode in which a motion vector of a target macroblock is virtually obtained using motion vector information of macroblocks at peripheral positions.
スペーシャルダイレクトモードは、基本的に、対象ブロックの左側のマクロブロック１７０１と上のマクロブロック１７０２と右上のマクロブロック１７０３との３つのマクロブロックを利用して予測を行う。
予測の方法は、これら３つのマクロブロック（１７０１、１７０２、１７０３）の動きベクトルの中で、時間的に最も近い過去の参照画像を指す動きベクトルと、時間的に最も近い将来の動きベクトルとを選択し、対象ブロックの仮想動きベクトルとして予測する。対象ブロックは、２方向参照となる。
In the spatial direct mode, prediction is basically performed using three macroblocks, a
Among the motion vectors of these three macroblocks (1701, 1702, 1703), the prediction method uses a motion vector indicating a past reference image that is closest in time and a future motion vector that is closest in time. Select and predict as a virtual motion vector of the target block. The target block is a two-way reference.
図１７（ａ）では、３つのマクロブロックの動きベクトルは、それぞれに、マクロブロック１７０１は「ＭＶ５」、マクロブロック１７０２は「ＭＶ１」、マクロブロック１７０３は「ＭＶ２」となる。
その中で、時間的に最も近い過去の参照画像を指す動きベクトル「ＭＶ１」と、時間的に最も近い将来の動きベクトル「ＭＶ２」とを選択し、そのまま対象ブロックの動きベクトルとする。
In FIG. 17A, the motion vectors of the three macroblocks are “MV5” for the
Among them, the motion vector “MV1” indicating the past reference image closest in time and the future motion vector “MV2” closest in time are selected and used as the motion vector of the target block as they are.
例えば、対象ブロックの動きベクトルは、「ＭＶ３」と「ＭＶ４」とになる（図１７（ｂ）参照）。
「ＭＶ３」はベクトルとしての値は「ＭＶ１」と同じで、「ＭＶ４」も「ＭＶ２」と同じである。また、参照画像は「ＭＶ１」「ＭＶ２」と同じ参照画像１と参照画像２である。参照画像と動きベクトルから、参照ブロック１と参照ブロック２が定まることになる。
For example, the motion vectors of the target block are “MV3” and “MV4” (see FIG. 17B).
“MV3” has the same vector value as “MV1”, and “MV4” is the same as “MV2”. The reference images are the
次に、図１８を用いて、２つ目のダイレクトモードの動き情報生成について説明する。
２つ目のダイレクトモードは、周辺時間のマクロブロックの動き情報を利用して、対象ブロックの動きベクトルを仮想的に求めるテンポラルダイレクトモードである。
テンポラルダイレクトモードは、基本的に、時間的に最も近い将来の参照画像（参照画像２）において、対象ブロックと同じ位置のマクロブロック１８０１を指す動きベクトルから、対象のマクロブロックに対する動きベクトルを推測して、対象ブロックの仮想動きベクトルを求める。対象ブロックは、２方向参照となる。
Next, generation of motion information in the second direct mode will be described with reference to FIG.
The second direct mode is a temporal direct mode in which the motion vector of the target block is virtually obtained using the motion information of the macro block at the peripheral time.
In the temporal direct mode, basically, a motion vector for a target macroblock is estimated from a motion vector indicating a
仮想動きベクトルの求め方は、マクロブロック１８０１の動きベクトル「ＭＶ１」を参照画像１〜参照画像２の時間間隔と参照画像１〜対象画像の時間間隔との比から、「ＭＶ２」と「ＭＶ３」を求める。
この求めた「ＭＶ２」と「ＭＶ３」を、対象ブロックの動きベクトルとする。この場合、「ＭＶ２」の参照ブロックは、マクロブロック１８０２と同じ参照画像１の参照ブロック１となり、「ＭＶ３」の参照ブロックは、マクロブロック１８０１と同じ参照画像２の参照ブロック２となる。
＜実施形態４＞
本実施形態では、動きベクトルを再利用する場合、動きベクトルの参照画像のタイプ「Ｉ／Ｐ」と、時間方向の要件は満たしているが、参照ブロックの画面での位置の要件が満たされていない場合について、図１９と図２０を用いて説明する。
The virtual motion vector is obtained by calculating the motion vector “MV1” of the
The obtained “MV2” and “MV3” are used as motion vectors of the target block. In this case, the reference block “MV2” becomes the
<
In the present embodiment, when reusing a motion vector, the motion vector reference image type “I / P” and the time direction requirement are satisfied, but the reference block position requirement is satisfied. The case where there is not will be described with reference to FIGS. 19 and 20.
ＭＰＥＧ−４／ＡＶＣでは、参照画像の考え方が画面外まで拡張されているので、動きベクトルが画面外にはみ出したマクロブロックを参照していてもよい。例えば、図１９の参照画像１のマクロブロック１９０１である。
画面外の領域は、画面外が一番端の画素で埋められていることを想定して参照する。
一方、ＭＰＥＧ−２では、動きベクトルが常に画面内だけを参照している必要がある。
In MPEG-4 / AVC, the concept of reference images is extended to the outside of the screen, so that a motion vector may refer to a macroblock that protrudes outside the screen. For example, the
The area outside the screen is referred to assuming that the outside of the screen is filled with the endmost pixel.
On the other hand, in MPEG-2, it is necessary that the motion vector always refers only to the screen.
例えば、２方向参照の対象ブロックであって、図１９（ａ）のように動きベクトル「ＭＶ１」のみが画面外を参照しているような場合には、画面内に収まっている参照ブロック２の動きベクトル「ＭＶ２」のみが再利用できることになるが、この例の場合は、後方参照となるため再利用が出来ない。
また、すべての動きベクトルが、画面外を参照している場合も、再利用することが出来ない。
For example, if the target block is a two-way reference block and only the motion vector “MV1” refers to the outside of the screen as shown in FIG. Only the motion vector “MV2” can be reused, but in this example, it cannot be reused because it is a backward reference.
Also, even when all motion vectors refer to the outside of the screen, they cannot be reused.
そこで、図２０に示すように、画面外の参照が画面内の参照になるように動きベクトルを補正することで、ＭＰＥＧ−２で参照可能となる。
この場合、ＭＰＥＧ−２では、当初想定していた参照ブロック（参照ブロック１）と異なる参照ブロック（参照ブロック２）を利用することになるので、予測画像からの誤差が発生する可能性がある。
Therefore, as shown in FIG. 20, it is possible to refer to MPEG-2 by correcting the motion vector so that the reference outside the screen becomes the reference inside the screen.
In this case, MPEG-2 uses a reference block (reference block 2) that is different from the reference block (reference block 1) that was initially assumed, so that an error from the predicted image may occur.
そのような場合を想定して、実施形態１で説明したように、領域の再探索などを行って、可能な限り予測画像からの誤差の発生を減らすような処理を行うようにしてもよい（図１２参照）。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、基本的に、参照ブロックの含まれる参照画像は、変えないで動きベクトルの再利用を行うこととしているが、参照画像を変えることで、動きベクトルの再利用を行うこととしてもよい。ここで説明するケースは、図１３で説明した場合の、発展形といえる。
Assuming such a case, as described in the first embodiment, a process may be performed so as to reduce the generation of errors from the predicted image as much as possible by performing a re-search of the region or the like ( (See FIG. 12).
<Supplement>
As mentioned above, although embodiment of this invention was described, this invention may be as follows not only the said form.
(1) In the embodiment, basically, a reference image including a reference block is reused without changing the motion vector, but the motion vector is reused by changing the reference image. It is good. The case described here can be said to be an extension of the case described with reference to FIG.
その例を図２１に示す。
図２１（ａ）では、参照画像（参照画像１）がＢピクチャであるので、再利用することは出来ない。しかし、Ｐピクチャを参照画像（参照画像２）とすることで、この動きベクトル「ＭＶ１」の再利用が可能となる場合がある。
しかし、この場合、予測画像との誤差が大きくなる場合があるので、Ｐピクチャの参照ブロックの近傍を探索範囲として再探索し、新しい参照ブロック（参照ブロック２）と新しい動きベクトル「ＭＶ２」を求めることとしてもよい（図２１（ｂ）参照）。
An example is shown in FIG.
In FIG. 21A, since the reference image (reference image 1) is a B picture, it cannot be reused. However, by using the P picture as the reference image (reference image 2), the motion vector “MV1” may be reusable.
However, in this case, since an error from the predicted image may increase, the vicinity of the reference block of the P picture is re-searched as a search range, and a new reference block (reference block 2) and a new motion vector “MV2” are obtained. It is good also (refer FIG.21 (b)).
また、図２１の例では、参照画像のみを変えることとしていたが、参照画像とともに、再探索せずに参照ブロックの位置を変えることとしてもよい。
その例を図２２に示す。
図２２（ｂ）では、参照画像をＰピクチャ（参照画像２）に変更し、さらに、動きベクトル「ＭＶ１」を参照画像１〜参照画像２の時間間隔と参照画像１〜対象画像の時間間隔との比から、参照ブロックを移動する位置を決めて、新しい参照ブロック（参照ブロック２）を求める。
In the example of FIG. 21, only the reference image is changed, but the position of the reference block may be changed together with the reference image without re-searching.
An example is shown in FIG.
In FIG. 22B, the reference image is changed to a P picture (reference image 2), and the motion vector “MV1” is set to the time interval between
この場合も、予測画像との誤差が大きくなる場合があるので、Ｐピクチャの参照ブロックの近傍を探索範囲として再探索し、新しい動きベクトル「ＭＶ２」を求めることとしてもよい。
（２）実施形態では、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２への変換を想定して説明を行ったが、本発明は、これらの符号化方式に限定されるものではなく、動きベクトルに関する制約が異なる符号化方式間の変換であれば、どのような符号化方式でもよい。
Also in this case, since an error with the predicted image may increase, a new motion vector “MV2” may be obtained by re-searching the vicinity of the reference block of the P picture as a search range.
(2) Although the embodiment has been described on the assumption that MPEG-4 / AVC is converted to MPEG-2, the present invention is not limited to these encoding methods, and restrictions on motion vectors. Any encoding method may be used as long as the conversion is between different encoding methods.
例えば、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−４への変換、ＭＰＥＧ−４／ＡＶＣからＶＣ１への変換、ＭＰＥＧ−４／ＡＶＣからＡＶＳ（Audio Video coding Standard of China）への変換、ＭＰＥＧ−４／ＡＶＣメインプロファイルからＭＰＥＧ−４／ＡＶＣベースラインプロファイルへの変換であってもよいし、その他の符号化方式間の変換であってもよい。 For example, conversion from MPEG-4 / AVC to MPEG-4, conversion from MPEG-4 / AVC to VC1, conversion from MPEG-4 / AVC to AVS (Audio Video coding Standard of China), MPEG-4 / AVC Conversion from the main profile to the MPEG-4 / AVC baseline profile may be performed, or conversion between other encoding methods may be performed.
また、実施形態では、ピクチャからピクチャへの変換を記載しているが、スライスからスライス、ピクチャからスライスへの変換としてもよい。
（３）実施形態では、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２への変換を説明したが、例えば、ＭＰＥＧ−２からＭＰＥＧ−４／ＡＶＣへの変換を行う場合もあり得る。
ＭＰＥＧ−２とＭＰＥＧ−４／ＡＶＣの相違として、動きベクトルの探索範囲の違いがある。ＭＰＥＧ−４／ＡＶＣに規定される動きベクトルの最大探索範囲の方がＭＰＥＧ−２の最大探索範囲よりも小さい。
In the embodiment, picture-to-picture conversion is described. However, slice-to-slice and picture-to-slice conversion may be used.
(3) Although the conversion from MPEG-4 / AVC to MPEG-2 has been described in the embodiment, for example, conversion from MPEG-2 to MPEG-4 / AVC may be performed.
As a difference between MPEG-2 and MPEG-4 / AVC, there is a difference in motion vector search range. The maximum search range of motion vectors defined in MPEG-4 / AVC is smaller than the maximum search range of MPEG-2.
ＭＰＥＧ−２からＭＰＥＧ−４／ＡＶＣへの変換を行う場合において、動画像変換装置は、ＭＰＥＧ−２のブロックについての動きベクトルが、ＭＰＥＧ−４／ＡＶＣに規定される最大探索範囲内に入るか否かによって、動きベクトルを利用するか否かを決定するよう構成してもよい。
またこのとき、動きベクトルが、ＭＰＥＧ−４／ＡＶＣに規定される最大探索範囲内に入らない動きベクトルについては、最大探索範囲内に収まるように動きベクトルをずらすことによって、動きベクトルを再利用するよう構成してもよい。
（４）動画像変換装置１００は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
When converting from MPEG-2 to MPEG-4 / AVC, the moving image conversion apparatus determines whether the motion vector for the MPEG-2 block falls within the maximum search range defined in MPEG-4 / AVC. It may be configured to determine whether to use a motion vector depending on whether or not.
At this time, for a motion vector whose motion vector does not fall within the maximum search range defined in MPEG-4 / AVC, the motion vector is reused by shifting the motion vector so that it falls within the maximum search range. You may comprise.
(4) The moving
判定部３１は、プログラム記憶部３２に記憶されているプログラムを実行することにより、動き補償予測部２８に行わせるべき処理方法を決定するよう構成されているが、この構成の代わりに論理回路を用いて構成してもよい。その論理回路は、可変長復号部１１により分離される各種データから、スライスタイプやマクロブロックタイプ、参照画像に関する情報等、判定に必要な情報を入力信号として、それら入力信号に応じて動き補償予測部２８に行わせるべき処理方法を示す出力信号を出力する。
（５）またコンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
（６）上記実施形態では、スライス単位の動画像データをピクチャ単位の動画像データに変換する例を記載しているが、スライス単位からスライス単位、ピクチャ単位からピクチャ単位の変換においても、本発明の概念を適用することができる。
（７）動画像変換装置１００は、図１の各構成要素の全部又は一部をＬＳＩで構成してもよい。
The
(5) In the case of a computer program, a program written in any recording medium such as a memory card or CD-ROM may be read and executed by a computer, or the program is downloaded and executed via a network. You may make it form.
(6) In the above embodiment, an example is described in which moving image data in units of slices is converted into moving image data in units of pictures. However, the present invention is also applicable to conversion from slice units to slice units and from picture units to picture units. The concept of can be applied.
(7) The moving
本発明は、動画像の変換処理を行うＡＶ機器に適用することができる。 The present invention can be applied to AV equipment that performs moving image conversion processing.
１０ 復号部
１１ 可変長復号部
１２ 逆量子化部
１３ 逆直交変換部
１４ 加算部
１５ フレームメモリ
１６ 動き補償部
２０ 符号化部
２１ 減算部
２２ 直交変換部
２３ 量子化部
２４ 逆量子化部
２５ 逆直交変換部
２６ 加算部
２７ フレームメモリ
２８ 動き補償部
３０ 動きベクトル構成部
３１ 判定部
３２ プログラム記憶部
３３ 予測制御部
１００ 動画像変換装置
DESCRIPTION OF
Claims (19)
第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、
第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段と
を備えることを特徴とする動画像変換装置。 A moving image conversion apparatus that converts first moving image data encoded according to a first motion compensation prediction method into second moving image data having the same format as data encoded according to a second motion compensation prediction method. ,
Selecting means for selecting a motion vector satisfying a condition to be a motion vector in the second motion compensated prediction method of the block from one or more motion vectors of the block included in the first moving image data;
Encoding means for performing encoding according to a second motion compensation prediction method, comprising: encoding means for encoding a block using each motion vector selected by the selection means; A moving image conversion device.
ことを特徴とする請求項１に記載の動画像変換装置。 In the encoding using each selected motion vector, the encoding means performs encoding using each selected motion vector as it is, instead of using the motion vector specified by motion search. The moving image conversion apparatus according to claim 1, wherein:
ことを特徴とする請求項１に記載の動画像変換装置。 In the encoding using each selected motion vector, the encoding means is a predetermined search range based on the position on the reference image indicated by each motion vector, and the reference block indicated by the motion vector The moving image conversion apparatus according to claim 1, wherein a motion search is performed for a search range including and a block is encoded using a motion vector obtained as a result of the motion search instead of using the motion vector. .
前記選出手段は、前記条件を満たす動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selection means is to limit the encoding type of the reference image of the block,
The moving image conversion apparatus according to claim 1, wherein the selection unit selects a motion vector that satisfies the condition.
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たさない場合には、その参照画像を前記条件を満たす参照画像に替えて、その動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selection means is to limit the encoding type of the reference image of the block,
When the reference image of the motion vector of the block included in the first moving image data does not satisfy the condition, the selection means replaces the reference image with a reference image that satisfies the condition and selects the motion vector. The moving image conversion apparatus according to claim 1.
ことを特徴とする請求項５に記載の動画像変換装置。 In the encoding using each selected motion vector, the encoding means is a predetermined search range based on the position on the reference image indicated by each motion vector, and the reference block indicated by the motion vector 6. The moving image conversion apparatus according to claim 5, wherein a motion search is performed for a search range including the image and a block is encoded using a motion vector obtained as a result of the motion search instead of using the motion vector. .
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの１つが前記条件を満たす場合には、その動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selection means is that, when the motion vector of the block is one, the reference image of the motion vector is an image displayed before the image including the block. Yes,
The moving image conversion apparatus according to claim 1, wherein the selecting unit selects a motion vector when one of the motion vectors of the block included in the first moving image data satisfies the condition.
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの２つが前記条件を満たす場合には、その２つの動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selection means is that when there are two motion vectors of a block, the reference image of one of the motion vectors is an image displayed before the image including the block. The reference image of the other motion vector is an image displayed after the image including the block,
The moving image conversion according to claim 1, wherein when two of the motion vectors of the blocks included in the first moving image data satisfy the condition, the selecting means selects the two motion vectors. apparatus.
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selection means is that the coding type of the image displayed between the image including the block and the reference image of the block is a predetermined type in the image display order. And
The moving image conversion apparatus according to claim 1, wherein the selection unit selects a motion vector when a reference image of a motion vector of a block included in the first moving image data satisfies the condition. .
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition to be satisfied by the motion vector selected by the selecting means is that the reference image of the block is the image of the past P picture or I picture that is closest in display time order from the display of the image including the block, or the closest future Is an image of a P picture or I picture, or an image including the block,
The moving image conversion apparatus according to claim 1, wherein the selection unit selects a motion vector when a reference image of a motion vector of a block included in the first moving image data satisfies the condition. .
前記選出手段は、前記条件を満たす動きベクトルを１つだけ選出した場合、
前記符号化手段は、当該１つの動きベクトルを用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更する
ことを特徴とする請求項４〜９のいずれかに記載の動画像変換装置。 The number of motion vectors of blocks included in the first moving image data is two,
When the selection means selects only one motion vector that satisfies the condition,
The encoding means encodes a block using the one motion vector, and obtains information indicating the type of motion prediction of the block from one type of motion prediction using two motion vectors. The moving image conversion apparatus according to claim 4, wherein the moving image conversion device is changed to a type of motion prediction to be used.
前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照ブロックが前記条件を満たす場合には、その動きベクトルを選出する
ことを特徴とする請求項１に記載の動画像変換装置。 The condition is that all the reference blocks of the block exist in the reference image included in the reference block,
The moving image conversion apparatus according to claim 1, wherein the selection unit selects a motion vector when a reference block of a motion vector of a block included in the first moving image data satisfies the condition. .
ことを特徴とする請求項１２に記載の動画像変換装置。 If the reference block of the corrected motion vector is present in the reference image by correcting the motion vector among the motion vectors that have not been selected, the selecting means selects the corrected motion vector. The moving image conversion apparatus according to claim 12, wherein:
ことを特徴とする請求項１〜１３のいずれかに記載の動画像変換装置。 The moving image conversion apparatus according to any one of claims 1 to 13, wherein the first motion compensation prediction method conforms to the MPEG4-AVC standard.
ことを特徴とする請求項１〜１４のいずれかに記載の動画像変換装置。 The moving image conversion apparatus according to any one of claims 1 to 14, wherein the second motion compensation prediction method is based on the MPEG2 standard or the MPEG4 standard.
第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、
第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップと
を含むことを特徴とする動画像変換方法。 A moving image conversion method for converting first moving image data encoded in accordance with a first motion compensated prediction method into second moving image data having the same format as data encoded in accordance with a second motion compensated prediction method. ,
A selection step of selecting a motion vector satisfying a condition to be a motion vector in the second motion compensation prediction method of the block from one or more motion vectors of the block included in the first moving image data;
An encoding step for performing encoding according to the second motion compensation prediction method, and an encoding step for encoding a block using each motion vector selected by the selecting step. Moving image conversion method.
第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、
第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップと
を含むことを特徴とするコンピュータプログラム。 In a device capable of executing a computer program, the first moving image data encoded according to the first motion compensation prediction method is converted into second moving image data having the same format as the data encoded according to the second motion compensation prediction method. A computer program for performing video conversion processing for conversion,
A selection step of selecting a motion vector satisfying a condition to be a motion vector in the second motion compensation prediction method of the block from one or more motion vectors of the block included in the first moving image data;
An encoding step for performing encoding according to the second motion compensation prediction method, and an encoding step for encoding a block using each motion vector selected by the selecting step. Computer program.
コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、
第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、
第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップと
を含むことを特徴とする。 A computer-readable recording medium recording a computer program, wherein the computer program is
In a device capable of executing a computer program, the first moving image data encoded according to the first motion compensation prediction method is converted into second moving image data having the same format as the data encoded according to the second motion compensation prediction method. A computer program for performing video conversion processing for conversion,
A selection step of selecting a motion vector satisfying a condition to be a motion vector in the second motion compensation prediction method of the block from one or more motion vectors of the block included in the first moving image data;
An encoding step for performing encoding according to the second motion compensation prediction method, and an encoding step for encoding a block using each motion vector selected by the selecting step. To do.
第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、
第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段と
を備えることを特徴とする集積回路。 Integrated circuit of moving picture conversion apparatus for converting first moving picture data encoded according to first motion compensated prediction method into second moving picture data having the same format as data encoded according to second motion compensated prediction method Because
Selecting means for selecting a motion vector satisfying a condition to be a motion vector in the second motion compensated prediction method of the block from one or more motion vectors of the block included in the first moving image data;
Encoding means for performing encoding according to a second motion compensation prediction method, comprising: encoding means for encoding a block using each motion vector selected by the selection means; Integrated circuit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005341009A JP4764706B2 (en) | 2004-11-30 | 2005-11-25 | Video converter |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004347429 | 2004-11-30 | ||
| JP2004347429 | 2004-11-30 | ||
| JP2005341009A JP4764706B2 (en) | 2004-11-30 | 2005-11-25 | Video converter |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006186979A true JP2006186979A (en) | 2006-07-13 |
| JP4764706B2 JP4764706B2 (en) | 2011-09-07 |
Family
ID=36739687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005341009A Expired - Fee Related JP4764706B2 (en) | 2004-11-30 | 2005-11-25 | Video converter |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4764706B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008244993A (en) * | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | Apparatus and method for transcoding |
| JP2009076972A (en) * | 2007-09-18 | 2009-04-09 | Canon Inc | Image encoding apparatus and image encoding method |
| JP2009100318A (en) * | 2007-10-17 | 2009-05-07 | Panasonic Corp | Image encoder and image encoding method |
| WO2010052838A1 (en) * | 2008-11-07 | 2010-05-14 | 三菱電機株式会社 | Dynamic image encoding device and dynamic image decoding device |
| WO2010079797A1 (en) * | 2009-01-08 | 2010-07-15 | 日本電気株式会社 | Image conversion device, method, and program |
| JP2012119969A (en) * | 2010-12-01 | 2012-06-21 | Mitsubishi Electric Corp | Image encoding system conversion device and image encoding system conversion program |
| JP2013172349A (en) * | 2012-02-21 | 2013-09-02 | Fujitsu Ltd | Moving image encoder and moving image encoding method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11275592A (en) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | Moving image code stream converter and its method |
| WO2002073972A1 (en) * | 2001-03-10 | 2002-09-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Transcoding of video signals |
| WO2004008734A2 (en) * | 2002-07-17 | 2004-01-22 | Dilithium Networks Pty Limited | Method and apparatus for transcoding between hybrid video codec bitstreams |
| WO2004093461A1 (en) * | 2003-04-17 | 2004-10-28 | Koninklijke Philips Electronics N.V. | Video transcoding |
-
2005
- 2005-11-25 JP JP2005341009A patent/JP4764706B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11275592A (en) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | Moving image code stream converter and its method |
| WO2002073972A1 (en) * | 2001-03-10 | 2002-09-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Transcoding of video signals |
| WO2004008734A2 (en) * | 2002-07-17 | 2004-01-22 | Dilithium Networks Pty Limited | Method and apparatus for transcoding between hybrid video codec bitstreams |
| WO2004093461A1 (en) * | 2003-04-17 | 2004-10-28 | Koninklijke Philips Electronics N.V. | Video transcoding |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008244993A (en) * | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | Apparatus and method for transcoding |
| JP2009076972A (en) * | 2007-09-18 | 2009-04-09 | Canon Inc | Image encoding apparatus and image encoding method |
| JP2009100318A (en) * | 2007-10-17 | 2009-05-07 | Panasonic Corp | Image encoder and image encoding method |
| US8396125B2 (en) | 2007-10-17 | 2013-03-12 | Panasonic Corporation | Picture coding apparatus and picture coding method |
| WO2010052838A1 (en) * | 2008-11-07 | 2010-05-14 | 三菱電機株式会社 | Dynamic image encoding device and dynamic image decoding device |
| JP5213964B2 (en) * | 2008-11-07 | 2013-06-19 | 三菱電機株式会社 | Video encoding apparatus and video decoding apparatus |
| WO2010079797A1 (en) * | 2009-01-08 | 2010-07-15 | 日本電気株式会社 | Image conversion device, method, and program |
| JPWO2010079797A1 (en) * | 2009-01-08 | 2012-06-21 | 日本電気株式会社 | Image conversion apparatus and method |
| JP2013158060A (en) * | 2009-01-08 | 2013-08-15 | Nec Corp | Image conversion device, method, and program |
| US9319699B2 (en) | 2009-01-08 | 2016-04-19 | Nec Corporation | Apparatus, method and program for image conversion |
| JP2012119969A (en) * | 2010-12-01 | 2012-06-21 | Mitsubishi Electric Corp | Image encoding system conversion device and image encoding system conversion program |
| JP2013172349A (en) * | 2012-02-21 | 2013-09-02 | Fujitsu Ltd | Moving image encoder and moving image encoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4764706B2 (en) | 2011-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220321907A1 (en) | Method and device for video image processing | |
| US20240056611A1 (en) | Image processing device and image processing method | |
| US9277220B2 (en) | Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes | |
| RU2310231C2 (en) | Space-time prediction for bi-directional predictable (b) images and method for prediction of movement vector to compensate movement of multiple images by means of a standard | |
| US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
| US7933335B2 (en) | Moving picture conversion apparatus | |
| CN101325710B (en) | Motion refinement engine with a plurality of cost calculation methods for use in video encoding and methods for use therewith | |
| JP4764706B2 (en) | Video converter | |
| TWI647949B (en) | Image prediction decoding method | |
| US20140105295A1 (en) | Moving image encoding method and apparatus, and moving image decoding method and apparatus | |
| JP2006352181A (en) | Image encoding/decoding device, encoding/decoding program and encoding/decoding method | |
| JP2023012484A (en) | Video decoding method and video decoder | |
| TWI790662B (en) | Encoding and decoding method, apparatus and device thereof | |
| JP5983430B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, and moving picture decoding method | |
| WO2012098845A1 (en) | Image encoding method, image encoding device, image decoding method, and image decoding device | |
| JP2024019406A (en) | Method and apparatus for prediction refinement with optical flow for affine coded block | |
| US20070133689A1 (en) | Low-cost motion estimation apparatus and method thereof | |
| US8594192B2 (en) | Image processing apparatus | |
| KR20230145097A (en) | Spatial local illumination compensation | |
| JPWO2013014693A1 (en) | Video decoding method and video encoding method | |
| US20160134888A1 (en) | Video encoding apparatus, video encoding method, video decoding apparatus, and video decoding method | |
| JP4708821B2 (en) | Moving picture coding apparatus, control method therefor, computer program, and storage medium | |
| JP5322956B2 (en) | Image coding apparatus and image coding method | |
| JP2013110517A (en) | Motion vector encoding device, motion vector encoding method and program, motion vector decoding device, motion vector decoding method and program | |
| US20230098057A1 (en) | Template Matching Based Decoder Side Intra Mode Prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |