JPH06113338A - Motion compensation prediction method for multi-eye type stereoscopic video - Google Patents
Motion compensation prediction method for multi-eye type stereoscopic videoInfo
- Publication number
- JPH06113338A JPH06113338A JP26174892A JP26174892A JPH06113338A JP H06113338 A JPH06113338 A JP H06113338A JP 26174892 A JP26174892 A JP 26174892A JP 26174892 A JP26174892 A JP 26174892A JP H06113338 A JPH06113338 A JP H06113338A
- Authority
- JP
- Japan
- Prior art keywords
- motion compensation
- compensation vector
- uncovered background
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】 （目次） 産業上の利用分野 従来の技術（図１９〜図２５） 発明が解決しようとする課題 課題を解決するための手段（図１） 作用（図１） 実施例 ・第１実施例の説明（図２〜図１２） ・第２実施例の説明（図１３〜図１８） ・その他 発明の効果(Table of Contents) Industrial Application Field of the Prior Art (FIGS. 19 to 25) Problem to be Solved by the Invention Means for Solving the Problem (FIG. 1) Action (FIG. 1) Example 1st Embodiment Description of example (FIGS. 2 to 12) -Explanation of second embodiment (FIGS. 13 to 18) -Other effects of the invention
【０００２】[0002]
【産業上の利用分野】本発明は、２眼以上の多眼式立体
映像について動き補償を行なう多眼式立体映像の動き補
償予測方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for predicting motion compensation of a multi-view stereoscopic image which performs motion compensation for multi-view stereoscopic images of two or more eyes.
【０００３】[0003]
【従来の技術】図１９は従来の多眼式立体映像システム
を示す図であるが、この図１９において、１０２はカメ
ラであり、このカメラ１０２は複数個設けられていて、
各カメラ１０２は、被写体１０１を撮影するものであっ
て、縦と横で、各々のカメラ１０２の配置位置を少しず
つずらしている。2. Description of the Related Art FIG. 19 is a diagram showing a conventional multi-view stereoscopic image system. In FIG. 19, reference numeral 102 denotes a camera, and a plurality of cameras 102 are provided.
Each camera 102 is for photographing the subject 101, and the arrangement position of each camera 102 is slightly shifted vertically and horizontally.
【０００４】カメラ１０２の位置を縦および横に、少し
ずつずらしているのは、１つのカメラからの出力を片方
の眼に対する入力として、両眼視差を形成して立体視が
得られるようにするためである。従って、このようにカ
メラ１０２を多数用いることにより、出力系でディスプ
レイ１０７を見る人間が、このディスプレイ１０７を見
る位置を変えても自然な立体視が得られるようになって
いる。The position of the camera 102 is slightly shifted vertically and horizontally so that the output from one camera is used as the input to one eye to form binocular parallax so that stereoscopic vision can be obtained. This is because. Therefore, by using a large number of cameras 102 as described above, a person who looks at the display 107 with an output system can obtain a natural stereoscopic vision even if the position at which the display 107 is viewed is changed.
【０００５】１０３は符号化器であり、この符号化器１
０３は各カメラ１０２から入力される画像データを符号
化するものである。１０４は多重化（マルチプレクス）
器であり、この多重化器１０４は、符号化器１０３で符
号化された画像データを伝送路にのせて伝送するため
に、符号化された画像データを多重化するものである。
１０５は分離（デマルチプレクス）器であり、この分離
器１０５は、伝送路を介して入力された多重画像データ
を分離するものである。そして、１０６は復号器であ
り、この復号器１０６は、分離器１０５で分離された画
像データを、ディスプレイ１０７に映し出すために復号
を行なうものである。Reference numeral 103 denotes an encoder, and the encoder 1
03 is for encoding the image data input from each camera 102. 104 is multiplexing
The multiplexer 104 multiplexes the encoded image data in order to transmit the image data encoded by the encoder 103 on the transmission path.
Reference numeral 105 denotes a demultiplexer, which separates the multiplexed image data input via the transmission path. A decoder 106 decodes the image data separated by the separator 105 in order to display it on the display 107.
【０００６】なお、ディスプレイ１０７には、一例とし
てレンチキュラ・レンズ（横方向にのみ視差がある場
合）または、ハエの眼レンズ（縦・横方向に視差がある
場合）を使用する。このような構成により、上記の多眼
式立体映像システムは以下に示す動作を有する。As the display 107, for example, a lenticular lens (when there is parallax only in the horizontal direction) or a fly's eye lens (when there is parallax in the vertical and horizontal directions) is used. With such a configuration, the above multi-view stereoscopic image system has the following operations.
【０００７】まず、静止している、あるいは動いている
被写体１０１を、位置を縦および横に、少しずつずらし
た複数のカメラ１０２で撮影する。次に、複数のカメラ
１０２から得られた画像データを高能率符号化し、多重
化器１０４により多重化（マルチプレクス）する。その
後、伝送路などを介して伝送し、受信側では分離器１０
５により分離（デマルチプレクス）した後、復号器１０
６により復号を行ない、ディスプレイ１０７に映し出
す。First, a stationary or moving subject 101 is photographed by a plurality of cameras 102 whose positions are vertically and horizontally shifted little by little. Next, the image data obtained from the plurality of cameras 102 is subjected to high-efficiency coding, and multiplexed by the multiplexer 104. After that, the data is transmitted via a transmission line or the like, and the separator 10 is used on the receiving side.
Demultiplexing by 5 and then the decoder 10
Decoding is carried out according to No. 6 and is displayed on the display 107.
【０００８】このディスプレイ１０７に映し出された映
像の一例として、図２０にタコを被写体としたときの、
縦５眼、横５眼のそれぞれのカメラからの出力を示す。
この例では、上下方向にも視差があることがわかる。さ
らに、別の例として、図２１にホログラフィック・ステ
レオグラムを構成する場合のシステムの一例を示す。こ
の図２１において、復号器１０６によって復号を行なう
ところまでは図１９で示した多眼式立体映像システムと
同様である。As an example of the image displayed on the display 107, when the octopus is the subject in FIG.
Output from each of the five vertical and five horizontal cameras is shown.
In this example, it can be seen that there is parallax also in the vertical direction. Furthermore, as another example, FIG. 21 shows an example of a system for forming a holographic stereogram. 21, the decoding up to the point where decoding is performed by the decoder 106 is the same as the multi-view stereoscopic image system shown in FIG.
【０００９】１０８は画像サイズ変換部であり、この画
像サイズ変換部１０８は、位相計算部１０９によるホロ
グラム位相計算の前処理として、画像サイズを変換する
ものである。位相計算部１０９は、画像サイズ変換後に
ディスプレイ等のホログラフィック出力系１１０へ出力
するためのホログラム位相計算を行なうものである。こ
のような構成により、上記のホログラフィック・ステレ
オグラムは、復号器１０６による復号を行なうところま
では、図１９で示した多眼式立体映像システムと同様の
動作を有する。Reference numeral 108 is an image size conversion unit, and this image size conversion unit 108 converts the image size as a preprocessing of the hologram phase calculation by the phase calculation unit 109. The phase calculation unit 109 calculates the hologram phase for outputting to the holographic output system 110 such as a display after the image size conversion. With such a configuration, the above holographic stereogram has the same operation as the multi-view stereoscopic image system shown in FIG. 19 up to the point where decoding is performed by the decoder 106.
【００１０】しかし、復号器１０６で復号を行なった後
は、位相計算部１０９によるホログラム位相計算を行な
うために、画像サイズ変換部１０８により画像サイズを
変換する。その後、位相計算部１０９で位相計算を行な
い、ホログラフィック出力系１１０によって画像を出力
する。さて、多眼式立体映像の実現においては、画面の
動きを補償する必要があり、この動き補償方法として、
時間方向のブロックマッチング予測と、同時刻の、他の
位置のカメラの画像とのブロックマッチング予測（視差
補償）を行なう方法がある。However, after the decoding by the decoder 106, the image size conversion unit 108 converts the image size in order to perform the hologram phase calculation by the phase calculation unit 109. After that, the phase calculation unit 109 calculates the phase, and the holographic output system 110 outputs the image. Now, in the realization of multi-view stereoscopic video, it is necessary to compensate for the motion of the screen.
There is a method of performing block matching prediction in the time direction and block matching prediction (parallax compensation) between images of cameras at other positions at the same time.
【００１１】図２２は、上記動き補償方法においての、
前者の一例である時間方向のブロックマッチング予測を
行なうものである。この時間方向のブロックマッチング
予測は、過去の画像と入力画像のブロックマッチングと
なり、原画面と参照画面の違いは時間だけが問題となる
ため、単眼式から多眼式まで方法は同じものである。こ
の図２２において、２０１はブロックマッチング及びベ
クトル検出部であり、このブロックマッチング及びベク
トル検出部２０１は、過去の画像と入力画像との、例え
ば１６×１６画素のブロックサイズに分割された各ブロ
ックを用いることにより、後述する様な方法で動きベク
トルを検出するようになっている。FIG. 22 shows the above-mentioned motion compensation method.
The block matching prediction in the time direction, which is an example of the former, is performed. This block matching prediction in the time direction is block matching between the past image and the input image, and the difference between the original screen and the reference screen only requires time. Therefore, the method is the same from the monocular type to the multi-lens type. In FIG. 22, reference numeral 201 denotes a block matching and vector detection unit, and this block matching and vector detection unit 201 divides each block of a past image and an input image into blocks each having a block size of 16 × 16 pixels, for example. By using it, the motion vector is detected by the method described later.
【００１２】図２３は、上述のブロックマッチング及び
ベクトル検出部２０１を詳しく示した図であるが、この
図２３において、２０８はメモリであり、このメモリ２
０８は図２２におけるメモリ２０８に相当するものであ
って、参照画面に関する符号化された画像データを記憶
させておくものである。２０９は２乗誤差算出部であ
り、この２乗誤差算出部２０９は、入力画面と参照画面
との２乗誤差を算出するものであり、減算部２０９−１
と２乗計算部２０９−２と加算部２０９−３と遅れ要素
（Ｄ１）２０９−４とをそなえて構成されている。FIG. 23 is a diagram showing the above-mentioned block matching and vector detection unit 201 in detail. In FIG. 23, 208 is a memory, and this memory 2
Reference numeral 08 corresponds to the memory 208 in FIG. 22, and stores coded image data relating to the reference screen. Reference numeral 209 denotes a squared error calculation unit, which calculates a squared error between the input screen and the reference screen, and a subtraction unit 209-1.
And a square calculation unit 209-2, an addition unit 209-3, and a delay element (D1) 209-4.
【００１３】２１０はベクトル変換部であり、このベク
トル変換部２１０は、参照画面の符号化された画像デー
タについて、ベクトルに変換するものである。２１１は
ベクトル検出部であり、このベクトル検出部２１１は、
２乗誤差算出部２０９で入力画面と参照画面との２乗誤
差の累積によって算出した値を最小にするベクトルを検
出するようになっており、比較部２１１−１と遅れ要素
（Ｄ２）２１１−２，２１１−５とセレクタ２１１−
３，２１１−４とをそなえて構成されている。Reference numeral 210 denotes a vector conversion unit, which converts the encoded image data of the reference screen into a vector. Reference numeral 211 denotes a vector detection unit, and this vector detection unit 211 is
The square error calculation unit 209 detects a vector that minimizes the value calculated by accumulating the squared error between the input screen and the reference screen, and the comparison unit 211-1 and the delay element (D2) 211- 2, 211-5 and selector 211-
3, 211-4.
【００１４】ところで、図２２における２０２は可変遅
延部であり、この可変遅延部２０２は、参照画面を可変
遅延させるものである。２０３は第１演算部であり、こ
の第１演算部２０３は、入力画面と、可変遅延部２０２
により可変遅延された参照画面との差分をとるものであ
る。２０４は符号化部であり、この符号化部２０４は入
力される画像データに符号化を施すものである。２０５
は可変長符号化器（ＶＬＣ）であり、この可変長符号化
器２０５は、発生頻度の高い符号語にはビット数を少な
く、発生頻度の低い符号語にはビット数を多く割り当て
ることにより、１符号語当たりの平均のビット数を減ら
して符号化ビットレートの低減して符号化を図るもので
ある。By the way, reference numeral 202 in FIG. 22 denotes a variable delay unit, and this variable delay unit 202 variably delays the reference screen. Reference numeral 203 denotes a first calculation unit, which has an input screen and a variable delay unit 202.
The difference from the reference screen that is variably delayed by Reference numeral 204 denotes an encoding unit, and the encoding unit 204 encodes input image data. 205
Is a variable length coder (VLC), and the variable length coder 205 allocates a small number of bits to a code word with a high occurrence frequency and a large number of bits to a code word with a low occurrence frequency, The number of average bits per codeword is reduced to reduce the encoding bit rate for encoding.
【００１５】２０６はローカルデコード部であり、この
ローカルデコード部２０６は、符号化部２０４で符号化
された画像データについて、可変長符号化部２０５で可
変長符号化されるもののほか、参照画面としても用いる
ためにローカルデコードするものである。２０７は第２
演算部であり、この第２演算部２０７は、ローカルデコ
ード部２０６からの画像データと可変遅延部２０２から
の画像データに関し、所定の演算を施し、メモリ２０８
及び可変遅延部２０２に再送するものである。Reference numeral 206 denotes a local decoding unit. The local decoding unit 206 uses the variable length coding unit 205 to perform variable length coding on the image data coded by the coding unit 204, and also serves as a reference screen. Is also used for local decoding. 207 is the second
The second operation unit 207 is an operation unit, performs a predetermined operation on the image data from the local decoding unit 206 and the image data from the variable delay unit 202, and stores it in the memory 208.
And to the variable delay unit 202.
【００１６】２０８はメモリであり、このメモリ２０８
は、参照画面に関する符号化された画像データを記憶さ
せておくものである。このような構成により、従来の動
き補償方法では、入力画面と参照画面のあるブロックで
のブロックマッチングを、ブロックマッチング及びベク
トル検出部２０１により行なう。Reference numeral 208 denotes a memory, and this memory 208
Is for storing coded image data relating to the reference screen. With such a configuration, in the conventional motion compensation method, the block matching in the block having the input screen and the block having the reference screen is performed by the block matching and vector detection unit 201.
【００１７】つまり、ブロックマッチング及びベクトル
検出部２０１では、図２３におけるメモリ２０８によっ
て蓄積されていた参照画面と入力画面の２乗誤差を、２
乗誤差算出部２０９において算出する。ベクトル検出部
２１１では、この２乗誤差を最小にするベクトルを検出
して出力する。なお、ここでベクトル検出部２１１にお
けるセレクタ２１１−４に入力するベクトルは、参照画
面からの画像データをベクトル変換部２１０においてベ
クトルに変換したものである。That is, in the block matching and vector detection unit 201, the square error between the reference screen and the input screen accumulated by the memory 208 in FIG.
The multiplication error calculation unit 209 calculates the error. The vector detection unit 211 detects and outputs a vector that minimizes this squared error. The vector input to the selector 211-4 in the vector detection unit 211 is the image data from the reference screen converted into a vector in the vector conversion unit 210.
【００１８】ブロックマッチング後は、ブロックマッチ
ング及びベクトル検出部２０１により動きベクトルを検
出して可変遅延部２０２にて参照画面を可変遅延させ、
第１演算部２０３により入力画面との差分をとり、これ
を予測画面とする。この予測画面は符号化部２０４にお
いて符号化されて、その後可変長符号化器（ＶＬＣ）２
０５により可変長符号化されて送信される。After block matching, the block matching and vector detection unit 201 detects the motion vector, and the variable delay unit 202 variably delays the reference screen.
The difference from the input screen is calculated by the first calculation unit 203, and this is used as the prediction screen. This prediction screen is encoded by the encoding unit 204, and then the variable length encoder (VLC) 2
05 is variable-length coded and transmitted.
【００１９】また、参照画面とするために、符号化部２
０４で符号化された画像データについて、ローカルデコ
ード部２０６によりローカルデコードを行なう。なお、
上記動き補償を用いた、グローバル動き補償という考え
かたもある。グローバル動き補償とは、カメラのパン、
ズーム等による画面の全体的な動きを補償するものであ
る。例えば、個々のブロックについてローカルに動き補
償を行ない、その後、行列演算によって、垂直、水平方
向のパン、ズームの３つのパラメータを抽出している。
実際に使用するときには、グローバル動き補償のパラメ
ータと、ローカルな動き補償のパラメータを組み合わせ
て処理、伝送する。Further, in order to make it a reference screen, the encoding unit 2
The local decoding unit 206 locally decodes the image data encoded in 04. In addition,
There is also the idea of global motion compensation using the above motion compensation. Global motion compensation means camera pan,
It compensates for the overall movement of the screen due to zooming or the like. For example, motion compensation is performed locally for each block, and then three parameters of vertical and horizontal pan and zoom are extracted by matrix calculation.
When actually used, the parameters of global motion compensation and the parameters of local motion compensation are combined and processed and transmitted.
【００２０】また、図２４は既述の動き補償方法におい
ての、後者の視差補償の一例のブロック図であるが、こ
の図２４において、２１２はブロックマッチング部であ
り、このブロックマッチング部２１２は、右眼側の入力
画像（原画、あるいは、符号化済の再生画）を参照画面
として、左眼側の入力画像とのブロックマッチングをと
るものである。FIG. 24 is a block diagram of an example of the latter parallax compensation in the motion compensation method described above. In FIG. 24, reference numeral 212 is a block matching unit, and this block matching unit 212 is Block matching with the input image on the left eye side is performed using the input image on the right eye side (original image or encoded reproduced image) as a reference screen.
【００２１】２１３は視差補償ベクトル検出部であり、
この視差補償ベクトル検出部２１３は、ブロックマッチ
ング部２１２において、ブロックマッチングを行なって
から、視差補償ベクトルを検出するものである。従っ
て、上記のブロックマッチング部２１２と視差補償ベク
トル検出部２１３は、図２３におけるブロックマッチン
グ及びベクトル検出部１０１と同様の機能を有するもの
である。Reference numeral 213 is a parallax compensation vector detection unit,
The parallax compensation vector detection unit 213 detects the parallax compensation vector after performing block matching in the block matching unit 212. Therefore, the block matching unit 212 and the parallax compensation vector detection unit 213 described above have the same functions as the block matching and vector detection unit 101 in FIG.
【００２２】２１４は可変遅延部であり、この可変遅延
部２１４については図２２における可変遅延部１０２と
同様に、参照画面である右眼側の入力画像を可変遅延さ
せるものである。２１５は減算部であり、この減算部２
１５は右眼側における符号化部２１８ａまたは符号化部
２１８ｂによる入力画像の符号化後、視差補償ベクトル
に従って右眼側の符号化済該当ブロックを可変遅延部２
１４により切り出し、左眼側の入力画像との差分信号を
求めものである。２１６は符号化部であり、この符号化
部２１６は減算部２１５において差を取った画像データ
について、符号化を施すものである。Reference numeral 214 denotes a variable delay unit, which is similar to the variable delay unit 102 in FIG. 22, and delays the input image on the right eye side, which is the reference screen, by variable delay. 215 is a subtraction unit, and this subtraction unit 2
Reference numeral 15 denotes the variable delay unit 2 which, after encoding the input image by the encoding unit 218a or the encoding unit 218b on the right eye side, sets the encoded corresponding block on the right eye side according to the parallax compensation vector.
The difference signal with respect to the input image on the left eye side is obtained by cutting out with reference to FIG. Reference numeral 216 denotes an encoding unit, and the encoding unit 216 performs encoding on the image data obtained by subtracting the subtraction unit 215.
【００２３】２１７及び２２０は可変長符号化部であ
り、この可変長符号化部２１７，２２０は図１９の可変
長符号化部１０５と同様な可変長符号化を施すものであ
る。ここで、可変長符号化部２１７は左眼の画像データ
について可変長符号化を施すものであり、可変長符号化
部２２０は右眼の画像データについて可変長符号化を施
すものである。Reference numerals 217 and 220 denote variable-length coding units, and the variable-length coding units 217 and 220 perform variable-length coding similar to the variable-length coding unit 105 shown in FIG. Here, the variable length coding unit 217 performs variable length coding on the image data of the left eye, and the variable length coding unit 220 performs variable length coding on the image data of the right eye.
【００２４】２１８ａ，２１８ｂは符号化部であり、こ
の符号化部２１８ａ，２１８ｂは、符号化部２１６と同
様に画像データについて符号化を施すものであるが、ブ
ロックマッチング部２１２によるブロックマッチングの
態様に従ってそなえる位置が異なる。つまり、参照画面
としてブロックマッチング部２１２に入力する右眼入力
画像は、符号化済のものを使用する場合は、符号化部２
１８ａをそなえ、符号化前、つまり原画を使用する場合
は、符号化部２１８ｂをそなえる。Reference numerals 218a and 218b denote coding units. The coding units 218a and 218b, like the coding unit 216, code the image data, but the block matching unit 212 performs block matching. According to the different positions. That is, when the right-eye input image input to the block matching unit 212 as the reference screen is an encoded image, the encoding unit 2 is used.
18a, and before encoding, that is, when using an original image, an encoding unit 218b is provided.
【００２５】このような構成において、従来の視差補償
における、ブロックマッチングと視差補償ベクトルの検
出は、図２５に示すようなフローチャートに示すような
動作を有する。つまり、図２５におけるステップＳ１
で、右眼入力画像ＦＲ（ＸOR，ＹOR）を参照とし、左眼
入力画像ＦＬ（ＸOL，ＹOL）を視差補償するものであ
る。サーチ範囲はｘ方向に対し±Ｓｘ，ｙ方向に対し±
Ｓｙとする。ブロックの大きさをｘ方向に対し、Ｂｘ，
ｙ方向に対しＢｙとする。In such a structure, in the conventional parallax compensation, block matching and detection of the parallax compensation vector have operations as shown in the flowchart of FIG. That is, step S1 in FIG.
Then, the right eye input image FR (X OR , Y OR ) is referred to, and the left eye input image FL (X OL , Y OL ) is parallax compensated. Search range is ± Sx for x direction and ± for y direction
Sy. The block size is Bx,
Let By for the y direction.
【００２６】そして、ステップＳ２及びステップＳ３
で、右眼入力画像ＦＲ（ＸOR，ＹOR）及び左眼入力画像
ＦＬ（ＸOL，ＹOL）におけるブロック当たりで変動する
座標変位の初期値を設定する。つまり、Ｙ座標において
Ｊ＝１と設定し、Ｘ座標においてＩ＝１と設定する。そ
の後、ステップＳ４〜ステップＳ１２に渡って、２乗誤
差の累積が最小となるようなベクトルを選択する。つま
り、ステップＳ４〜ステップＳ６で、初期の座標値にお
けるベクトルの２乗誤差の累積値を設定し、ステップＳ
７〜ステップＳ２１でベクトルの最小値を決定する。Then, step S2 and step S3
Then, the initial value of the coordinate displacement that varies per block in the right eye input image FR (X OR , Y OR ) and the left eye input image FL (X OL , Y OL ) is set. That is, J = 1 is set at the Y coordinate and I = 1 is set at the X coordinate. After that, a vector that minimizes the accumulation of squared errors is selected in steps S4 to S12. That is, in steps S4 to S6, the cumulative value of the squared error of the vector at the initial coordinate value is set,
In 7 to step S21, the minimum value of the vector is determined.
【００２７】そして、ステップＳ１２において、決定し
たベクトルの最小値を視差補償ベクトルとして出力し、
処理を終了する。こうしてブロックマッチングと視差補
償ベクトルが検出されると、右眼側の入力画像の符号化
部２１８ａ又は２１８ｂによる符号化後、視差補償ベク
トルに従って右眼側の符号化済該当ブロックを可変遅延
部２１４により切り出す。Then, in step S12, the minimum value of the determined vector is output as a parallax compensation vector,
The process ends. When the block matching and the parallax compensation vector are detected in this way, after the coding unit 218a or 218b of the input image on the right eye side, the variable delay unit 214 moves the coded corresponding block on the right eye side according to the parallax compensation vector. cut.
【００２８】その後、減算部２１５によって左眼側の入
力画像との差分信号を求める。求まった差分信号に対
し、符号化部２１６により符号化を行なってから可変長
符号化部２１７によって可変長符号化して伝送する。右
眼側についても、可変長符号化部２２０によって可変長
符号化を行なってから伝送する。After that, the subtraction unit 215 obtains a difference signal from the input image on the left eye side. The obtained difference signal is encoded by the encoding unit 216 and then variable length encoded by the variable length encoding unit 217 and transmitted. Also for the right eye side, variable length coding is performed by the variable length coding unit 220 before transmission.
【００２９】[0029]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の動き補償方法及び視差補償方法では、パン、
ズーム等が激しく発生するようなシーンにおいては、ア
ンカバードバックグラウンド（Ｕｎｃｏｖｅｒｄ Ｂａ
ｃｋｇｒｏｕｎｄ）が生じ、正確な動き補償が出来ない
ため、符号化効率の低下を招くという課題がある。However, in such a conventional motion compensation method and parallax compensation method, pan,
Uncovered background (Uncovered Ba
ccground) occurs, and accurate motion compensation cannot be performed, which causes a problem of lowering the coding efficiency.
【００３０】ここでアンカバードバックグラウンドと
は、参照画面において隠れていた、つまり、画面の範囲
ではなかった領域が、入力画面において現れてしまうこ
とをいう。本発明は、このような課題に鑑み創案された
もので、アンカバードバックグラウンドが生じた場合で
も、動き補償における参照画面と入力画面を近いものと
することにより、予測誤差を減少させて符号化効率の向
上を図ることができるようにした、多眼式立体映像の動
き補償予測方法を提供することを目的とする。Here, the uncovered background means that an area which is hidden on the reference screen, that is, which is not the range of the screen appears on the input screen. The present invention was devised in view of such a problem, and even when an uncovered background occurs, the reference screen and the input screen in motion compensation are made close to each other, thereby reducing a prediction error and encoding. An object of the present invention is to provide a motion-compensated prediction method for multi-view stereoscopic video, which is capable of improving efficiency.
【００３１】[0031]
【課題を解決するための手段】図１は本発明の原理ブロ
ック図で、この図１において、２はスイッチであり、こ
のスイッチ２は、参照画面判定部７からの信号を受け
て、複数の画像（過去におけるもの）の中から、１つの
画像を選択するようにスイッチングして、動き補償予測
部３に出力するものである。FIG. 1 is a block diagram of the principle of the present invention. In FIG. 1, reference numeral 2 is a switch, and this switch 2 receives a signal from a reference screen determination section 7 and receives a plurality of signals. One of the images (in the past) is switched so as to be selected, and is output to the motion compensation prediction unit 3.
【００３２】３は動き補償予測部であり、この動き補償
予測部３は、２眼以上の多眼式立体映像についての動き
補償を行なうものであり、現在の画像出力と過去の画像
出力とが入力されている。４はブロックマッチング部で
あり、このブロックマッチング部４は現在の画像出力を
入力画面とし、過去の画像出力を参照画面としてブロッ
クマッチングを行なうことにより、動き補償ベクトルを
決定するようになっている。さらに、動き補償ベクトル
からグローバル動き補償ベクトルパラメータを除いた局
所的な動き補償ベクトルをも求めるものである。Reference numeral 3 denotes a motion compensation prediction unit, which performs motion compensation for a multi-view stereoscopic image of two or more eyes. The current image output and the past image output are It has been entered. A block matching unit 4 determines a motion compensation vector by performing block matching using the current image output as an input screen and the past image output as a reference screen. Furthermore, a local motion compensation vector obtained by removing the global motion compensation vector parameter from the motion compensation vector is also obtained.
【００３３】５はグローバルベクトル検出部であり、こ
のグローバルベクトル検出部５は、ブロックマッチング
部４において検出された動きベクトルをもとにして、グ
ローバル動き補償ベクトルパラメータを計算するもので
ある。６はアンカバードバックグラウンド予測部であ
り、このアンカバードバックグラウンド予測部６は、グ
ローバルベクトル検出部５において検出されたグローバ
ルベクトルパラメータに基づいて、アンカバードバック
グラウンド領域を検出するものである。Reference numeral 5 denotes a global vector detection unit, which calculates a global motion compensation vector parameter based on the motion vector detected by the block matching unit 4. Reference numeral 6 denotes an uncovered background prediction unit, and this uncovered background prediction unit 6 detects an uncovered background area based on the global vector parameter detected by the global vector detection unit 5.
【００３４】具体的には、このアンカバードバックグラ
ウンド予測部６は、画面を拡大状態から小さくしていく
場合は、グローバルベクトル検出部５において検出した
グローバル動き補償ベクトルパラメータのズームパラメ
ータを用いて、画面の周辺部をアンカバードバックグラ
ウンド領域として検出するようになっている。また、こ
のアンカバードバックグラウンド予測部６は、画面を移
動させる場合は、グローバルベクトル検出部５において
検出したグローバル動き補償ベクトルパラメータの、パ
ンパラメータを用いて、動いた方の画面の周辺部をアン
カバードバックグラウンド領域として検出するようにな
っている。Specifically, the uncovered background prediction unit 6 uses the zoom parameter of the global motion compensation vector parameter detected by the global vector detection unit 5 when the screen is reduced from the enlarged state. The periphery of the screen is detected as an uncovered background area. Further, when moving the screen, the uncovered background prediction unit 6 uses the pan parameter of the global motion compensation vector parameters detected by the global vector detection unit 5 to uncover the peripheral portion of the moving screen. It is designed to be detected as a covered background area.
【００３５】さらに、このアンカバードバックグラウン
ド予測部６は、ブロックマッチング部４で求めた局所的
な動き補償ベクトルを用い、現在処理しようとしている
ブロックの局所的な動き補償ベクトルが周囲のブロック
の局所的な動き補償ベクトルと比較して、異なる場合、
例えば、その差が第１しきい値を越える個数が第２しき
い値を越えた場合に、現在処理しようとしている当該ブ
ロックを、アンカバードバックグラウンド領域として検
出することも可能である。Further, the uncovered background prediction unit 6 uses the local motion compensation vector obtained by the block matching unit 4, and the local motion compensation vector of the block currently being processed is the local motion compensation vector of the surrounding blocks. If it is different compared to the conventional motion compensation vector,
For example, when the number of the differences exceeding the first threshold exceeds the second threshold, the block to be processed at present can be detected as the uncovered background area.
【００３６】７は参照画面判定部であり、この参照画面
判定部７は、アンカバードバックグラウンド予測部６で
検出したアンカバードバックグラウンド領域について他
カメラからの過去の出力を用いる際に、処理をしようと
しているブロックの位置を参照して、どのカメラからの
過去の出力を用いるかを決定するようになっている。ま
た、この参照画面判定部７は、アンカバードバックグラ
ウンド予測部６にて検出したアンカバードバックグラウ
ンド領域について、他カメラからの過去の出力を用いる
際に、処理をしようとしているブロックのグローバル動
き補償ベクトルを参照して、どのカメラからの過去の出
力を用いるかを決定するように構成することも可能であ
る（以上、請求項１〜７）。Reference numeral 7 is a reference screen determination unit, and this reference screen determination unit 7 performs processing when the past output from another camera is used for the uncovered background area detected by the uncovered background prediction unit 6. The position of the block to be tried is referred to determine which camera uses the past output. Further, the reference screen determination unit 7 uses the past output from another camera for the uncovered background area detected by the uncovered background prediction unit 6 to compensate the global motion of the block to be processed. It is also possible to configure so as to determine which camera uses the past output with reference to the vector (the above claims 1 to 7).
【００３７】[0037]
【作用】上述の本発明の多眼式立体映像の動き補償予測
方法では、２眼以上の多眼式立体映像についての動き補
償予測を行なうに際して、まず該当カメラからの現在の
出力と過去の出力から、ブロックマッチング部４とグロ
ーバル動き補償ベクトル検出部５とにより、動き補償ベ
クトルとグローバル動き補償ベクトルパラメータとを計
算する。In the motion compensation prediction method for a multi-view stereoscopic image of the present invention described above, when performing motion compensation prediction for a multi-view stereoscopic image of two or more eyes, first, the current output and the past output from the corresponding camera are performed. From the above, the block matching unit 4 and the global motion compensation vector detection unit 5 calculate the motion compensation vector and the global motion compensation vector parameter.
【００３８】さらに、ブロックマッチング部４により動
き補償ベクトルからグローバル動き補償ベクトルパラメ
ータを除いた局所的な動き補償ベクトルを求めた上で、
アンカバードバックグラウンド予測部６において、グロ
ーバル動き補償ベクトルパラメータを用いて、アンカバ
ードバックグラウンド領域を検出する。そして、参照画
面判定部７と動き補償予測部３とにより、このアンカバ
ードバックグラウンド領域について他カメラからの過去
の出力を用いて、動き補償予測を行なう（請求項１）。Further, after the block matching unit 4 obtains a local motion compensation vector by removing the global motion compensation vector parameter from the motion compensation vector,
The uncovered background prediction unit 6 detects the uncovered background area using the global motion compensation vector parameter. Then, the reference screen determination unit 7 and the motion compensation prediction unit 3 perform motion compensation prediction for this uncovered background area using past outputs from other cameras (claim 1).
【００３９】このとき、アンカバードバックグラウンド
予測部６においては、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、画面を拡大状態から小さくしていく場
合は、グローバル動き補償ベクトルパラメータのズーム
パラメータを用いて、画面の周辺部をアンカバードバッ
クグラウンド領域として検出する（請求項２）。At this time, the uncovered background prediction unit 6 uses the global motion compensation vector parameter to detect the uncovered background area, and when the screen is reduced from the enlarged state, the global motion compensation is performed. The periphery of the screen is detected as an uncovered background area using the zoom parameter of the vector parameter (claim 2).
【００４０】また、アンカバードバックグラウンド予測
部６においては、グローバル動き補償ベクトルパラメー
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、画面を移動させる場合は、グローバル動き
補償ベクトルパラメータのパンパラメータを用いて、動
いた方の画面の周辺部をアンカバードバックグラウンド
領域として検出する（請求項３）。Further, in the uncovered background prediction unit 6, when the screen is moved when the uncovered background area is detected using the global motion compensation vector parameter, the pan parameter of the global motion compensation vector parameter is used. The peripheral portion of the moving screen is detected as an uncovered background area (claim 3).
【００４１】なお、このアンカバードバックグラウンド
予測部６は、ブロックマッチング部４で求めた局所的な
動き補償ベクトルを用い、現在処理しようとしているブ
ロックの局所的な動き補償ベクトルが周囲のブロックの
局所的な動き補償ベクトルと比較して、異なる場合、例
えば、その差が第１しきい値を越える個数が第２しきい
値を越えた場合に、現在処理しようとしている当該ブロ
ックを、アンカバードバックグラウンド領域として検出
する（請求項４，５）。The uncovered background prediction unit 6 uses the local motion compensation vector obtained by the block matching unit 4, and the local motion compensation vector of the block currently being processed is the local motion compensation vector of the surrounding blocks. If it is different from the current motion compensation vector, for example, if the number of differences exceeds the first threshold value exceeds the second threshold value, the block currently being processed is uncovered back. It is detected as a ground area (claims 4 and 5).
【００４２】また、参照画面判定部７では、アンカバー
ドバックグラウンド予測部６で検出したアンカバードバ
ックグラウンド領域について他カメラからの過去の出力
を用いる際に、処理をしようとしているブロックの位置
を参照して、どのカメラからの過去の出力を用いるかを
決定する（請求項６）。さらに、この参照画面判定部７
は、アンカバードバックグラウンド予測部６にて検出し
たアンカバードバックグラウンド領域について、他カメ
ラからの過去の出力を用いる際に、処理をしようとして
いるブロックのグローバル動き補償ベクトルを参照し
て、どのカメラからの過去の出力を用いるかを決定する
ことも可能である（請求項７）。Further, the reference screen determination unit 7 refers to the position of the block to be processed when using the past output from another camera for the uncovered background area detected by the uncovered background prediction unit 6. Then, it is determined which camera uses the past output (claim 6). Furthermore, this reference screen determination unit 7
Refers to the global motion compensation vector of the block to be processed when using the past outputs from other cameras for the uncovered background area detected by the uncovered background prediction unit 6, and It is also possible to decide whether to use the past output from (claim 7).
【００４３】[0043]
【実施例】以下、図面を参照して本発明の実施例を説明
する。 （ａ）第１実施例の説明 図２は本発明の第１実施例を示すブロック図で、この図
２において、１２はスイッチであり、このスイッチ１２
は、参照画面判定部１７からの信号を受けて、ｎ個のカ
メラ出力（又はローカルデコード画面；以下、単にカメ
ラ出力というときはこのローカルデコード画面の場合を
も含む。）１ａ−１〜１ａ−ｎの中で、カメラ出力１ａ
−ｋのカメラ出力を選択してスイッチングし、動き補償
予測部３０に出力するものである。Embodiments of the present invention will be described below with reference to the drawings. (A) Description of First Embodiment FIG. 2 is a block diagram showing a first embodiment of the present invention. In FIG. 2, reference numeral 12 denotes a switch, and this switch 12
Receives a signal from the reference screen determination unit 17 and outputs n cameras (or local decode screens; hereinafter, when simply referred to as camera output, this local decode screen is included.) 1a-1 to 1a-. camera output 1a
The camera output of -k is selected, switched, and output to the motion compensation prediction unit 30.
【００４４】動き補償予測部３０は、２眼以上の多眼式
立体映像についての動き補償を行なうものであり、カメ
ラ出力１ａ−１〜１ａ−ｎがスイッチ１２によるスイッ
チングにより入力されるようになっている。この動き補
償予測部３０は、前述の、図２２で示した従来の動き補
償方法を示すブロック図と同様の機能を有するものであ
り、ブロックマッチング部３１と可変遅延部３２と第１
演算部３３と符号化部３４と可変長符号化部（ＶＬＣ）
３５とローカルデコード部３６と第２演算部３７とメモ
リ３８とをそなえて構成されており、それぞれ、図２２
におけるブロックマッチング部及びベクトル検出部１０
１，可変遅延部１０２，第１演算部１０３，符号化部１
０４，可変長符号化部（ＶＬＣ）１０５とローカルデコ
ード部１０６と第２演算部１０７とメモリ１０８とに対
応して同様の機能を有しているものである。The motion compensation prediction unit 30 performs motion compensation for multi-view stereoscopic images of two or more eyes, and camera outputs 1a-1 to 1a-n are input by switching by the switch 12. ing. The motion compensation prediction unit 30 has the same function as the block diagram showing the conventional motion compensation method shown in FIG. 22 described above, and includes the block matching unit 31, the variable delay unit 32, and the first delay unit 32.
Operation unit 33, coding unit 34, and variable length coding unit (VLC)
35, a local decoding unit 36, a second calculation unit 37, and a memory 38, each of which is shown in FIG.
Block matching unit and vector detection unit 10 in
1, variable delay unit 102, first calculation unit 103, encoding unit 1
04, the variable length coding unit (VLC) 105, the local decoding unit 106, the second operation unit 107, and the memory 108 have the same functions.
【００４５】また、図２における１４はブロックマッチ
ング部であり、このブロックマッチング部１４は、カメ
ラ出力１ａ−ｋを入力画面とし、カメラ出力１ａ−１〜
１ａ−ｎを参照画面としてブロックマッチングを行なう
ことにより、動きベクトルを各ブロック毎にとり、この
中から動き補償ベクトルを決定するものである。さら
に、この動き補償ベクトルからグローバル動き補償ベク
トルパラメータを除いた局所的な動き補償ベクトルをも
求めるようになっている。Further, reference numeral 14 in FIG. 2 is a block matching unit, and this block matching unit 14 uses the camera outputs 1a-k as input screens and outputs the camera outputs 1a-1 to 1a-1.
By performing block matching using 1a-n as a reference screen, a motion vector is taken for each block, and the motion compensation vector is determined from this. Furthermore, a local motion compensation vector obtained by removing the global motion compensation vector parameter from this motion compensation vector is also obtained.
【００４６】例えば、現画面ｋ（ｉ，ｊ）に対し、参照
画面ｋ′（ｉ＋ａ，ｊ＋ｂ）を用いて予測を行なおうと
する場合、動きベクトルＶは、Ｖ（ａ，ｂ）となる。な
お、このブロックマッチング部１４についても図２０に
示した従来のブロックマッチング部と同様の機能を有す
るものである。ところで、このブロックマッチング部１
４で出力する動き補償ベクトル及び局所的な動き補償ベ
クトルは、グローバルベクトル検出部１５に出力され
る。For example, when the prediction is performed on the current screen k (i, j) by using the reference screen k '(i + a, j + b), the motion vector V becomes V (a, b). The block matching unit 14 also has the same function as the conventional block matching unit shown in FIG. By the way, this block matching unit 1
The motion compensation vector and the local motion compensation vector output in 4 are output to the global vector detection unit 15.
【００４７】１５はグローバルベクトル検出部であり、
このグローバルベクトル検出部１５は、ブロックマッチ
ング部１４において検出された動きベクトルをもとにし
て、グローバル動き補償ベクトルパラメータを計算し、
１画面全体のグローバルベクトルを検出するものであ
る。このグローバル動き補償ベクトルパラメータは、水
平方向と垂直方向のパンとズームの３つのパラメータに
よって構成されている。例えば、ズームパラメータ，パ
ンパラメータの水平方向Ｐｈ，垂直方向Ｐｖとすると、
動きベクトルＶは、グローバルベクトルのみで、Ｖ（ｉ
ｚ＋Ｐｈ，ｊｚ＋Ｐｖ）と表すことができる。従って、
ズームインの時はｚは負の値をとり、ズームアウトの時
はｚは正の値をとる。Reference numeral 15 is a global vector detection unit,
The global vector detection unit 15 calculates a global motion compensation vector parameter based on the motion vector detected by the block matching unit 14,
The global vector of the entire one screen is detected. The global motion compensation vector parameter is composed of three parameters of horizontal and vertical pan and zoom. For example, if the zoom parameter and the pan parameter are the horizontal direction Ph and the vertical direction Pv,
The motion vector V is a global vector only, and V (i
z + Ph, jz + Pv). Therefore,
When zooming in, z takes a negative value, and when zooming out, z takes a positive value.
【００４８】アンカバードバックグラウンド予測部１６
は、グローバルベクトル検出部１５において検出された
３つのグローバル動き補償ベクトルパラメータに基づい
て、アンカバードバックグラウンド領域を検出するもの
である。ここで、アンカバードバックグラウンド領域と
は、参照画面において隠れていた、つまり、画面の範囲
ではなかった領域が、入力画面において現れる領域をい
う。Uncovered background prediction unit 16
Is to detect an uncovered background area based on the three global motion compensation vector parameters detected by the global vector detection unit 15. Here, the uncovered background area refers to an area that is hidden on the reference screen, that is, an area that is not the range of the screen appears on the input screen.
【００４９】そして、このアンカバードバックグラウン
ド予測部１６は、画面を拡大状態から小さくしていく場
合、グローバルベクトル検出部１５において検出したグ
ローバル動き補償ベクトルパラメータのズームパラメー
タを用いて、画面の周辺部をアンカバードバックグラウ
ンド領域として検出するようになっている。また、この
アンカバードバックグラウンド予測部１６は、画面を移
動させる場合、グローバルベクトル検出部１５において
検出したグローバル動き補償ベクトルパラメータのパン
パラメータを用いて、動いた方の画面の周辺部をアンカ
バードバックグラウンド領域として検出するようになっ
ている。The uncovered background prediction unit 16 uses the zoom parameter of the global motion compensation vector parameter detected by the global vector detection unit 15 to reduce the size of the screen from the enlarged state. Is detected as an uncovered background area. In addition, when moving the screen, the uncovered background prediction unit 16 uses the pan parameter of the global motion compensation vector parameter detected by the global vector detection unit 15 to uncover the peripheral portion of the moving screen. It is designed to be detected as a ground area.
【００５０】なお、このアンカバードバックグラウンド
予測部１６は、局所的な動きに対応する為に、ブロック
マッチング部１４で求めた局所的な動き補償ベクトルに
ついても、グローバル動き補償ベクトルパラメータと共
に用いる。そして、現在処理しようとしているブロック
の局所的な動き補償ベクトルが周囲のブロックの局所的
な動き補償ベクトルと比較して、異なる場合、例えば、
その差が第１しきい値を越える個数が第２しきい値を越
えた場合に、現在処理しようとしている当該ブロック
を、アンカバードバックグラウンド領域として検出する
ようにもなっている。The uncovered background prediction unit 16 also uses the local motion compensation vector obtained by the block matching unit 14 together with the global motion compensation vector parameter in order to deal with the local motion. Then, when the local motion compensation vector of the block currently being processed is different from the local motion compensation vectors of the surrounding blocks, for example,
When the number of the differences exceeding the first threshold exceeds the second threshold, the block to be processed at present is detected as an uncovered background area.
【００５１】参照画面判定部１７は、アンカバードバッ
クグラウンド予測部１６で検出したアンカバードバック
グラウンド領域について他カメラからの過去の出力を用
いる際に、ブロックマッチング部１４から直接信号を入
力することにより、処理をしようとしているブロックの
位置を参照して、どのカメラからの過去の出力を用いる
かを決定するようになっている。The reference screen determination unit 17 inputs a signal directly from the block matching unit 14 when using past outputs from other cameras for the uncovered background area detected by the uncovered background prediction unit 16. By referring to the position of the block to be processed, the past output from which camera is used is determined.
【００５２】上述の構成により、２眼以上の多眼式立体
映像についての動き補償予測を行なうに際して、まず該
当カメラからの現在の出力と過去の出力から、ブロック
マッチング部１４とグローバル動き補償ベクトル検出部
１５とにより、動き補償ベクトルとグローバル動き補償
ベクトルパラメータとを計算する。さらに、ブロックマ
ッチング部１４により動き補償ベクトルからグローバル
動き補償ベクトルパラメータを除いた局所的な動き補償
ベクトルを求めた上で、アンカバードバックグラウンド
予測部１６において、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出する。With the above configuration, when performing motion compensation prediction for multi-view stereoscopic images of two or more eyes, first, the block matching unit 14 and the global motion compensation vector detection are performed from the current output and the past output from the corresponding camera. The unit 15 calculates a motion compensation vector and a global motion compensation vector parameter. Further, the block matching unit 14 obtains a local motion compensation vector by removing the global motion compensation vector parameter from the motion compensation vector, and then the uncovered background prediction unit 16 uses the global motion compensation vector parameter to Detect covered background areas.
【００５３】そして、参照画面判定部１７と動き補償予
測部３０とにより、このアンカバードバックグラウンド
領域について他カメラからの過去の出力を用いて、動き
補償予測を行なう。このとき、アンカバードバックグラ
ウンド予測部１６においては、グローバル動き補償ベク
トルパラメータを用いて、アンカバードバックグラウン
ド領域を検出するに際し、画面を拡大状態から小さくし
ていく場合は、グローバル動き補償ベクトルパラメータ
のズームパラメータを用いて、画面の周辺部をアンカバ
ードバックグラウンド領域として検出する。Then, the reference screen determination unit 17 and the motion compensation prediction unit 30 perform motion compensation prediction for this uncovered background area using past outputs from other cameras. At this time, the uncovered background prediction unit 16 uses the global motion compensation vector parameter to detect the uncovered background area, and when the screen is reduced from the enlarged state, the global motion compensation vector parameter The periphery of the screen is detected as an uncovered background area using the zoom parameter.
【００５４】ここで、このアンカバードバックグラウン
ド予測部１６によるズームパラメータに注目したアンカ
バードバックグラウンド予測方法については図３に示す
フローチャートに従って行なわれる。すなわち、まず、
ステップＡ１で、グローバル動き補償ベクトルパラメー
タとして、ズームパラメータをｚとし、画像の中心点を
座標（０，０）とした場合のｘ軸方向の大きさの最大値
Ａ、ｙ軸方向の大きさの最大値Ｂとする。Here, the uncovered background prediction method, which focuses on the zoom parameter by the uncovered background prediction unit 16, is performed according to the flowchart shown in FIG. That is, first,
In step A1, when the zoom parameter is z and the center point of the image is the coordinates (0, 0) as the global motion compensation vector parameter, the maximum value A in the x-axis direction and the maximum value in the y-axis direction are set. The maximum value is B.
【００５５】そして、ステップＡ２で、ズームパラメー
タｚの正負を調べる。ここで、ズームパラメータｚが負
である場合は、ズームインなるため、ステップＡ３で、
アンカバードバックグラウンドは無いと判断される。ま
た、ズームパラメータｚが正である場合は、ステップＡ
４で、画像の外枠から、ｘ軸方向にＡｚ，ｙ軸方向にＢ
ｚだけ内側の領域がアンカバードバックグラウンドとな
る。Then, in step A2, whether the zoom parameter z is positive or negative is checked. Here, if the zoom parameter z is negative, the zoom-in is performed, so in step A3,
It is judged that there is no uncovered background. If the zoom parameter z is positive, step A
4, from the outer frame of the image, Az in the x-axis direction and B in the y-axis direction
The area inside z is the uncovered background.
【００５６】従ってアンカバードバックグラウンド領域
は、ステップＡ５で、全体として次式（１−１）〜（１
−４）に示すような領域をとる。 Ａ−ｕ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ （１−
１） −Ａ≦ｘ≦−Ａ＋ｕ，−Ｂ≦ｙ≦Ｂ （１−２） −Ａ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ＋Ｖ （１−３） −Ａ≦ｘ≦Ａ ，Ｂ−Ｖ≦ｙ≦Ｂ （１−４） また、アンカバードバックグラウンド予測部１６におい
ては、グローバル動き補償ベクトルパラメータを用い
て、アンカバードバックグラウンド領域を検出するに際
し、画面を移動させる場合は、グローバル動き補償ベク
トルパラメータのパンパラメータを用いて、動いた方の
画面の周辺部をアンカバードバックグラウンド領域とし
て検出する。Therefore, in the uncovered background area, in step A5, the following equations (1-1) to (1) are used as a whole.
-4) Take the area as shown in. A−u ≦ x ≦ A, −B ≦ y ≦ B (1-
1) -A≤x≤-A + u, -B≤y≤B (1-2) -A≤x≤A, -B≤y≤B + V (1-3) -A≤x≤A, B-V≤ y ≦ B (1-4) Further, the uncovered background prediction unit 16 uses the global motion compensation vector parameter to detect the uncovered background area, and when moving the screen, the global motion compensation vector is used. By using the pan parameter of the parameter, the peripheral part of the moving screen is detected as the uncovered background area.
【００５７】今、例えば動きベクトルＶは、ズームパラ
メータをｚ、パンパラメータの水平成分をＰｈ、垂直成
分をＰｖとしてグローバルベクトルのみで表すと、Ｖ
（ｉｚ＋Ｐｈ，ｊｚ＋Ｐｖ）となる。従ってＰｈが正の
値の場合はカメラが右へ、負の値の場合はカメラが左
へ、Ｐｖが正の値の場合はカメラが上へ、負の値の場合
はカメラが下へ動いていることを示す。Now, for example, if the motion vector V is represented by only a global vector with z being the zoom parameter, Ph being the horizontal component of the pan parameter, and Pv being the vertical component, V
(Iz + Ph, jz + Pv). Therefore, if Ph is a positive value, the camera moves to the right, if it is a negative value, the camera moves to the left, if Pv is a positive value, the camera moves up, if it is a negative value, the camera moves down. Indicates that
【００５８】次に、このアンカバードバックグラウンド
予測部１６によるパンパラメータに注目したアンカバー
ドバックグラウンド領域の予測は、図４のフローチャー
トに示すような過程により行なわれる。すなわち、この
図４において、ステップＢ１で、パンパラメータの水平
成分をＰｈ、垂直成分をＰｖ、画像の中心点を座標
（０，０）とした場合のｘ軸方向の大きさの最大値を
Ａ、ｙ軸方向の大きさの最大値をＢと設定する。Next, the prediction of the uncovered background area by paying attention to the pan parameter by the uncovered background prediction unit 16 is performed by the process shown in the flowchart of FIG. That is, in FIG. 4, in step B1, the maximum value of the size in the x-axis direction when the horizontal component of the pan parameter is Ph, the vertical component is Pv, and the center point of the image is the coordinate (0, 0) is A. , B is set as the maximum value in the y-axis direction.
【００５９】そして、ステップＢ２で、パンパラメータ
の垂直成分Ｐｖの正負を調べる。ここで、パンパラメー
タの垂直成分Ｐｖが正の値をとる場合は、カメラが上に
進んでいる場合となるため、ステップＢ３で、アンカバ
ードバックグラウンドは画像の上側にＰｖの幅で出現す
る。つまり、アンカバードバックグラウンド領域は、式
（２−１）に示すとおりである。Then, in step B2, the sign of the vertical component Pv of the pan parameter is checked. Here, when the vertical component Pv of the pan parameter has a positive value, it means that the camera is moving upward. Therefore, in step B3, the uncovered background appears at the width of Pv above the image. That is, the uncovered background area is as shown in Expression (2-1).
【００６０】 −Ａ≦ｘ≦Ａ ，Ｂ−Ｐｖ≦ｙ≦Ｂ （２−１） また、パンパラメータの垂直成分Ｐｖが負の値をとる場
合は、カメラが下に進んでいる場合となるため、ステッ
プＢ４で、アンカバードバックグラウンドは画像の下側
にＰｖの幅で出現する。つまり、アンカバードバックグ
ラウンド領域は、式（２−２）に示すとおりである。-A≤x≤A, B-Pv≤y≤B (2-1) When the vertical component Pv of the pan parameter has a negative value, it means that the camera is moving downward. In step B4, the uncovered background appears at the bottom of the image with a width of Pv. That is, the uncovered background area is as shown in Expression (2-2).
【００６１】 −Ａ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ＋Ｐｖ （２−２） 次に、ステップＢ５で、パンパラメータの水平成分Ｐｈ
の正負を調べる。ここで、パンパラメータの水平成分Ｐ
ｈが正の値をとる場合は、カメラが右に進んでいる場合
となるため、ステップＢ６で、アンカバードバックグラ
ウンドは画像の右側にＰｈの幅で出現する。つまり、ア
ンカバードバックグラウンド領域は、式（２−３）に示
すとおりである。-A≤x≤A, -B≤y≤B + Pv (2-2) Next, in step B5, the horizontal component Ph of the pan parameter is set.
Examine the sign of. Here, the horizontal component P of the pan parameter
When h takes a positive value, it means that the camera is moving to the right, so in step B6, the uncovered background appears on the right side of the image with a width of Ph. That is, the uncovered background area is as shown in Expression (2-3).
【００６２】 Ａ−Ｐｈ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ （２−３） また、パンパラメータの水平成分Ｐｈが負の値をとる場
合は、カメラが左に進んでいる場合だから、ステップＢ
７で、アンカバードバックグラウンドは画像の左側にＰ
ｈの幅で出現する。つまり、アンカバードバックグラウ
ンド領域は、式（２−４）に示すとおりである。A−Ph ≦ x ≦ A, −B ≦ y ≦ B (2-3) If the horizontal component Ph of the pan parameter has a negative value, it means that the camera is moving to the left. B
7, the uncovered background is P on the left side of the image.
Appears in the width of h. That is, the uncovered background area is as shown in Expression (2-4).
【００６３】 −Ａ≦ｘ≦−Ａ＋Ｐｈ，−Ｂ≦ｙ≦Ｂ （２−４） さらに、このアンカバードバックグラウンド予測部１６
は、ブロックマッチング部１４で求めた局所的な動き補
償ベクトルを用い、現在処理しようとしているブロック
の局所的な動き補償ベクトルが周囲のブロックの局所的
な動き補償ベクトルと比較して、異なる場合、例えば、
その差が第１しきい値を越える個数が第２しきい値を越
えた場合に、現在処理しようとしている当該ブロック
を、アンカバードバックグラウンド領域として検出す
る。−A ≦ x ≦ −A + Ph, −B ≦ y ≦ B (2-4) Furthermore, this uncovered background prediction unit 16
Uses the local motion compensation vector obtained by the block matching unit 14, and when the local motion compensation vector of the block currently being processed is different from the local motion compensation vector of the surrounding blocks, For example,
When the number of which the difference exceeds the first threshold exceeds the second threshold, the block to be processed at present is detected as an uncovered background area.
【００６４】この場合、アンカバードバックグラウンド
予測部１６では、グローバルベクトルとともに局所的な
動き補償ベクトルを用いることによって、アンカバード
バックグラウンド領域を予測するものであるが、ここ
で、局所的な動きとは、例えば静止した人物が手だけを
振っている場合等である。そして、このアンカバードバ
ックグラウンド領域の予測は、図５のフローチャートに
示すような過程に従って行なわれる。In this case, the uncovered background prediction unit 16 predicts the uncovered background area by using the local motion compensation vector together with the global vector. Is, for example, a case where a stationary person is waving only his hand. The prediction of the uncovered background area is performed according to the process shown in the flowchart of FIG.
【００６５】すなわち、まずステップＣ１で、初期設定
として、処理しようとしている局所的な動き補償ベクト
ルＶ（ｖｘ，ｖｙ）、その周囲のベクトルをＶ１（ｖｘ
１，ｖｙ１）〜Ｖ８（ｖｘ８，ｖｙ８）として設定し、
また、しきい値をＴＨ１（第１しきい値），ＴＨ２（第
２しきい値）として設定する。そして、ステップＣ２
で、Ｖｎ（ｎ＝１〜８）について、ＶとＶｎとのｘ方
向、ｙ方向それぞれの絶対値差分を計算し、それぞれＵ
ｘｎ，Ｕｙｎとする。That is, first, in step C1, as initial setting, the local motion compensation vector V (vx, vy) to be processed and its surrounding vector are V1 (vx
1, vy1) to V8 (vx8, vy8),
Further, the threshold values are set as TH1 (first threshold value) and TH2 (second threshold value). And step C2
Then, for Vn (n = 1 to 8), the absolute value difference between V and Vn in the x direction and the y direction is calculated, and U
xn and Uyn.
【００６６】つぎに、ステップＣ３とステップＣ４で、
それぞれ下記に示すカウント数とｎの値の初期設定を行
なう。その後、ステップＣ５〜ステップＣ８で、ｎ＝１
〜８においてＵｘｎ＜ＴＨ１かつＵｙｎ＜ＴＨ１となる
数をカウントする。そして、ステップＣ９で、このカウ
ント数としきい値ＴＨ２との大小関係を調べる。Next, in steps C3 and C4,
Initialize the count number and the value of n shown below, respectively. Then, in step C5 to step C8, n = 1
In ~ 8, the number of Uxn <TH1 and Uyn <TH1 is counted. Then, in step C9, the magnitude relationship between the count number and the threshold value TH2 is checked.
【００６７】ここで、カウント数がしきい値ＴＨ２より
小さい場合は、ステップＣ１０で、当該ブロックはアン
カバードバックグラウンド領域であると判断し、そうで
ない場合は、ステップＣ１１で、当該ブロックはアンカ
バードバックグラウンド領域でないと判断する。ただ
し、局所的な動きを示す場合でも、ある動き補償ベクト
ルが首位のベクトルと極端に異なる場合は、アンカバー
ドバックグラウンドによるミスマッチの可能性が高いと
いうことが考えられる。例えば、しきい値ＴＨ１を２〜
３、ＴＨ２を１とすると、ベクトルの方向が２〜３画素
以内のずれであれば類似のベクトルとして、その個数
が、１つもない場合はアンカバードバックグラウンドに
よるミスマッチの可能性が大きいということが判断され
る。If the count number is smaller than the threshold value TH2, it is determined in step C10 that the block is in the uncovered background area, and if not, the block is uncovered in step C11. Judge that it is not in the background area. However, even if a local motion is shown, if a certain motion compensation vector is extremely different from the leading vector, it is considered that there is a high possibility of mismatch due to the uncovered background. For example, the threshold value TH1 is 2 to
3, and TH2 is set to 1, if the vector direction is shifted within 2 to 3 pixels, it is regarded as a similar vector, and if there is no vector, there is a high possibility of mismatch due to uncovered background. To be judged.
【００６８】そして、その後は上記において、アンカバ
ードバックグラウンド領域と予測された領域の和集合を
とり、局所的なアンカバードバックグラウンドをも含む
ブロックを全てアンカバードバックグラウンド領域とし
て予測するのである。すなわち、この場合は、図６に示
すようなフローチャートにより、アンカバードバックグ
ラウンド領域の予測が行われる。Then, in the above, the union of the regions predicted as the uncovered background region is taken, and all blocks including the local uncovered background are predicted as the uncovered background region. That is, in this case, the uncovered background area is predicted according to the flowchart shown in FIG.
【００６９】まず図６におけるステップＤ１で、初期設
定として、各要素の値が全て０の配列Ｂ1 〜Ｂ3 ，Ｂ0
を設定する。これらの配列は１ビットの配列であって、
各要素は画面中の画素の数と対応している。ここで、ス
テップＤ２で、ズームパラメータを用いてアンカバード
バックグラウンド領域と判定された画素を「１」にした
配列をＢ1 とする。次に、ステップＤ３で、パンパラメ
ータを用いてアンカバードバックグラウンド領域と判定
された画素を「１」にした配列をＢ2 とする。さらに、
ステップＤ４で、局所的な動きに注目してアンカバード
バックグラウンド領域と判定された画素を「１」にした
配列をＢ3 とする。First, in step D1 in FIG. 6, as an initial setting, arrays B 1 to B 3 , B 0 in which the values of all the elements are all 0 are set.
To set. These arrays are 1-bit arrays,
Each element corresponds to the number of pixels in the screen. Here, in step D2, the sequence in which the pixels which are determined to the uncovered background area to "1" and B 1 using a zoom parameter. Then, at step D3, the sequence in which the pixels which are determined to the uncovered background area to "1" and B 2 with the pan parameter. further,
In step D4, the sequence in which the pixels which are determined to the uncovered background area focuses on local motion to "1" and B 3.
【００７０】その後、ステップＤ５で、配列Ｂ1 〜Ｂ3
を画素毎に論理和を取ったものを、配列Ｂ0 とし、ステ
ップＤ６で、配列Ｂ0 をブロックに仕切る。このブロッ
ク中において「１」の画素がしきい値ＴＨ以上ならばア
ンカバードブロックと予測されるのである。上述の作用
を具体的な例で示したものが、図７及び図８である。ま
ず図７において、画面の画素数をもつ１ビットの配列を
Ｂ0 とする（簡単のため８×８の配列とする）。Ｂ0 の
各画素の初期状態は全て０である〔図７の（１）参
照〕。Then, in step D5, the arrays B 1 to B 3 are arranged.
An array B 0 is obtained by taking the logical sum of each pixel in the array, and the array B 0 is divided into blocks in step D6. If the pixel of "1" in this block is more than the threshold value TH, it is predicted as an uncovered block. FIG. 7 and FIG. 8 show the above-mentioned action as a concrete example. First, in FIG. 7, it is assumed that a 1-bit array having the number of pixels on the screen is B 0 (8 × 8 array for simplicity). The initial state of each pixel of B 0 is 0 [see (1) in FIG. 7].
【００７１】そして、ズームパラメータに注目してアン
カバードと判定された画素を「１」にした配列をＢ
1 〔図７の（２）参照〕，パンパラメータに注目してア
ンカバードと判定された画素を「１」にした配列をＢ2
〔図７の（３）参照〕，局所的な動きに注目してアンカ
バードと判定された画素を「１」にした配列をＢ3 とす
る〔図８の（１）参照〕。Then, paying attention to the zoom parameter, the array in which the pixels determined to be uncovered are set to "1" is B
1 [see (2) of FIG. 7], B 2 is an array in which the pixels determined to be uncovered by paying attention to the pan parameter are set to “1”.
[Refer to (3) in FIG. 7] The pixel in which the pixel determined to be uncovered by paying attention to the local movement is set to “1” is designated as B 3 [Refer to (1) in FIG. 8].
【００７２】さらに、配列Ｂ1 ，Ｂ2 ，Ｂ3 に対して画
素単位で論理和をとり配列Ｂ0 とし〔図８の（２）参
照〕、次に配列Ｂ0 をブロック毎に区切り、ブロックの
中のアンカバード画素の個数がしきい値ＴＨを越えた場
合アンカバードブロックとするのである〔図８の（３）
参照〕。なお、上述した図７における（１）〜（３）
は、それぞれ図６におけるステップＤ１〜ステップＤ３
に相当している過程であり、図８における（１）〜
（３）は、それぞれ図６におけるステップＤ４〜ステッ
プＤ６に相当している過程である。Further, the array B 1 , B 2 , B 3 is logically ORed in pixel units to form an array B 0 [see (2) in FIG. 8], and then the array B 0 is divided into blocks, If the number of uncovered pixels in the table exceeds the threshold value TH, it is regarded as an uncovered block [(3) in FIG. 8].
reference〕. Note that (1) to (3) in FIG. 7 described above
Are steps D1 to D3 in FIG. 6, respectively.
This is a process corresponding to (1)-
(3) is a process corresponding to steps D4 to D6 in FIG. 6, respectively.
【００７３】そして、アンカバードバックグラウンド領
域が上記のように予測された場合は、参照画面判定部１
７では、参照画面を過去の画面において存在しなかった
領域が画像の周辺部を取り囲むように現れる。このよう
に、スイッチ１２と動き補償予測部３０とブロックマッ
チング部１４とグローバルベクトル検出部１５とアンカ
バードバックグラウンド予測部１６と参照画面判定部１
７とをそなえることにより、アンカバードバックグラウ
ンド領域を確実に予測することができるのである。When the uncovered background area is predicted as described above, the reference screen determining section 1
In 7, the reference screen appears so that a region that did not exist in the past screen surrounds the peripheral portion of the image. As described above, the switch 12, the motion compensation prediction unit 30, the block matching unit 14, the global vector detection unit 15, the uncovered background prediction unit 16, and the reference screen determination unit 1
By providing 7 and 7, the uncovered background area can be reliably predicted.
【００７４】その後は、参照画面判定部１７において、
アンカバードバックグラウンド予測部１６で検出したア
ンカバードバックグラウンド領域について他カメラから
の過去の出力を用いる際に、処理をしようとしているブ
ロックの位置を参照して、どのカメラからの過去の出力
を用いるかを決定することが行なわれる。このように、
この実施例における参照画面判定部１７では、検出した
グローバル動き補償ベクトル等を用いずに、アンカバー
ドブロックの位置だけで参照画面の判定を行なうが、こ
のために、この参照画面判定部１７、は図９に示すよう
に、比較部５１−１〜５１−６，ＲＯＭ５２，第３演算
部５４，乗算部５５及び符号反転部５６をそなえて構成
されている。After that, in the reference screen judging section 17,
When the past output from another camera is used for the uncovered background area detected by the uncovered background prediction unit 16, the past output from which camera is used by referring to the position of the block to be processed. A decision is made. in this way,
The reference screen determination unit 17 in this embodiment determines the reference screen only by the position of the uncovered block without using the detected global motion compensation vector or the like. As shown in FIG. 9, it is provided with comparison units 51-1 to 51-6, ROM 52, a third calculation unit 54, a multiplication unit 55, and a sign inversion unit 56.
【００７５】ここで、比較部５１−１〜５１−６は、ア
ンカバード判定結果によるアンカバードかどうかの判定
及び、現在処理しようとしているブロックの左上の座標
位置について判別するものであり、この判別結果は１ビ
ットの情報としてＲＯＭ５２に入力しているものであ
る。ＲＯＭ５２は、比較部５１−１〜５１−６からの、
現在処理しようとしているブロックの左上の座標判別情
報とカメラ位置を表す情報とをそれぞれ入力し、この入
力に応じてスイッチ１２にスイッチング情報を出力する
ものである。Here, the comparing units 51-1 to 51-6 are for judging whether or not it is uncovered by the uncovered judgment result, and for judging the upper left coordinate position of the block which is currently processed. The result is input to the ROM 52 as 1-bit information. The ROM 52 stores data from the comparison units 51-1 to 51-6.
The coordinate discriminating information at the upper left of the block currently being processed and the information indicating the camera position are respectively input, and switching information is output to the switch 12 in response to this input.
【００７６】また、第３演算部５４は、ブロックの左上
の座標（ｉ，ｊ）における、「ｉ」と「ｊ」の絶対値の
和をとることにより、この和を比較器５１−２にて
「０」と比較し、当該座標が原点に位置しているかどう
かを判定するためのものである。乗算部５５は、座標
（ｉ，ｊ）のｘ座標「ｉ」と「Ｂ／Ａ」との乗算値を計
算することにより、この乗算値とｙ座標「ｊ」との大小
を、比較器５１−３にて比較させるためのものである。Further, the third arithmetic unit 54 calculates the sum of the absolute values of "i" and "j" at the upper left coordinate (i, j) of the block, and the sum is sent to the comparator 51-2. Is compared with “0” to determine whether the coordinate is located at the origin. The multiplication unit 55 calculates the multiplication value of the x-coordinate “i” and “B / A” of the coordinate (i, j) to determine the magnitude of this multiplication value and the y-coordinate “j” by the comparator 51. -3 is for comparison.
【００７７】符号反転部５６は、乗算部５５の出力の符
号を反転させることにより、この値とｙ座標「ｊ」との
大小を、比較器５１−４にて比較させるためのものであ
る。従って、この参照画面判定部１７での参照画面判定
は、図１０，図１１に示すフローチャートに従って行な
われる。まず、図１０におけるステップＥ１で、画面の
中心の座標を原点（０，０）とした座標系を考え、処理
しようとしているブロックの左上の座標は（ｉ，ｊ）と
する。また、ｘ軸方向の画面の最大値をＡ，ｙ軸方向の
画面の最大値をＢとする。The sign inverting section 56 is for inverting the sign of the output of the multiplying section 55 so that the comparator 51-4 compares the magnitude of this value with the y coordinate "j". Therefore, the reference screen determination by the reference screen determination unit 17 is performed according to the flowcharts shown in FIGS. First, in step E1 in FIG. 10, consider a coordinate system in which the coordinates of the center of the screen are the origin (0, 0), and the upper left coordinates of the block to be processed are (i, j). The maximum value of the screen in the x-axis direction is A, and the maximum value of the screen in the y-axis direction is B.
【００７８】次に、ステップＥ２で、比較器５１−１で
のアンカバードブロックかどうかの判定と、比較器５１
−２での処理を使用としているブロックの左上の座標
（ｉ，ｊ）が原点に位置しているがどうかの判定を行な
う。ここで、アンカバードブロックでなければ、あるい
は、（ｉ，ｊ）が（０，０）の場合、ステップＥ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
してブロックマッチングを行なう。Next, in step E2, the comparator 51-1 determines whether the block is an uncovered block, and the comparator 51-1
It is determined whether the upper left coordinate (i, j) of the block using the process of -2 is located at the origin. Here, if it is not an uncovered block, or if (i, j) is (0,0), then in step E3,
The reference screen performs block matching centering on the same position on the past screen of the same camera.
【００７９】また、上記の場合に該当しない場合は、ス
テップＥ４で、カメラが右端であるか否かを調べ、右端
ならば、ステップＥ３で、参照画面は、同じカメラの過
去の画面の同位置を中心としてブロックマッチングを行
なう。そして、ステップＥ４において、カメラが右端で
ない場合は、ステップＥ５で、ｉが正で、かつｊがＢ×
ｉ／Ａ以下かつ、ｊが−Ｂ×ｉ／Ａ以上となるかを判断
する。つまり、座標（ｉ，ｊ）が、図１２における
（ａ）の領域にあるかどうかを判断する。If the above case does not apply, in step E4, it is checked whether or not the camera is at the right end. If it is the right end, in step E3, the reference screen is the same position as the previous screen of the same camera. Performs block matching centered on. If the camera is not at the right end in step E4, i is positive and j is B × in step E5.
It is determined whether i / A or less and j is −B × i / A or more. That is, it is determined whether the coordinates (i, j) are in the area (a) in FIG.
【００８０】ｉ及びｊがこれらの条件に該当する場合
は、ステップＥ６で、参照画面は処理しようとしている
カメラの真右側（あるいは真右端）に位置するカメラの
過去の画面の同位置を中心とし、ブロックマッチングを
行なう。ｉ及びｊがこれらの条件に該当しない場合は、
ステップＥ７で、カメラが左端であるか否かを調べる。
ここで、カメラが左端にある場合は、ステップＥ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
して、ブロックマッチングを行なう。If i and j satisfy these conditions, in step E6, the reference screen is centered on the same position on the past screen of the camera located on the right side (or right end) of the camera to be processed. , Perform block matching. If i and j do not meet these conditions,
At step E7, it is checked whether or not the camera is at the left end.
Here, if the camera is at the left end, in step E3,
The reference screen performs block matching centering on the same position on the past screen of the same camera.
【００８１】ステップＥ７で、カメラが左端にない場合
は、図１１におけるステップＥ８で、ｉが負で、かつｊ
がＢ×ｉ／Ａ以上かつ、ｊが−Ｂ×ｉ／Ａ以下となるか
を判断する。つまり、座標（ｉ，ｊ）が、図１２におけ
る（ｂ）の領域にあるかどうかを判断する。ｉ及びｊが
これらの条件に該当する場合は、ステップＥ９で、参照
画面は処理しようとしているカメラの真左側（あるいは
真左端）に位置するカメラの過去の画面の同位置を中心
とし、ブロックマッチングを行なう。If the camera is not at the left end at step E7, then at step E8 in FIG. 11, i is negative and j
Is B × i / A or more and j is −B × i / A or less. That is, it is determined whether the coordinates (i, j) are in the area (b) in FIG. If i and j correspond to these conditions, in step E9, the reference screen is centered on the same position of the past screen of the camera located on the left side (or the left end) of the camera to be processed, and block matching is performed. Do.
【００８２】ステップＥ８で、ｉ及びｊがこれらの条件
に該当しない場合は、ステップＥ１０で、カメラが上端
であるか否かを調べる。ここで、カメラが上端にある場
合は、ステップＥ３で、参照画面は、同じカメラの過去
の画面の同位置を中心として、ブロックマッチングを行
なう。また、カメラが上端にない場合は、ステップＥ１
１で、ｊが正で、かつｊがＢ×ｉ／Ａ以上かつ、ｊが−
Ｂ×ｉ／Ａ以上となるかを判断する。つまり、座標
（ｉ，ｊ）が、図１２における（ｃ）の領域にあるかど
うかを判断する。If i and j do not meet these conditions in step E8, it is checked in step E10 whether the camera is at the upper end. Here, if the camera is at the upper end, in step E3, the reference screen performs block matching with the same position of the past screen of the same camera as the center. If the camera is not at the top, step E1
1, j is positive, j is B × i / A or more, and j is −
It is determined whether the value is B × i / A or more. That is, it is determined whether or not the coordinates (i, j) are in the area (c) in FIG.
【００８３】ｉ及びｊがこれらの条件に該当する場合
は、ステップＥ１２で、参照画面は処理しようとしてい
るカメラの真上側（あるいは真上端）に位置するカメラ
の過去の画面の同位置を中心とし、ブロックマッチング
を行なう。ｉ及びｊがこれらの条件に該当しない場合
は、ステップＥ１３で、カメラが下端であるか否かを調
べる。ここで、カメラが下側にある場合は、ステップＥ
３で、参照画面は、同じカメラの過去の画面の同位置を
中心として、ブロックマッチングを行なう。If i and j correspond to these conditions, in step E12, the reference screen is centered on the same position of the past screen of the camera located immediately above (or just above) the camera to be processed. , Perform block matching. If i and j do not meet these conditions, it is checked in step E13 whether the camera is at the bottom. Here, if the camera is on the lower side, step E
In 3, the reference screen is block-matched around the same position on the past screen of the same camera.
【００８４】また、カメラが下側にない場合は、ブロッ
クの左上の座標（ｉ，ｊ）が、図１２の（ｄ）の位置に
あるので、ステップＥ１４で、参照画面は処理しようと
しているカメラの真下側（真下端）に位置するカメラの
過去の画面の同位置を中心とし、ブロックマッチングを
行なう。上記のブロックマッチングは、動き補償予測部
３０によって行なわれるが、この動き補償予測部３０で
のブロックマッチングは、従来のものと同様に行なわれ
る。If the camera is not on the lower side, the upper left coordinate (i, j) of the block is located at the position of (d) in FIG. 12, so that the reference screen is processed by the camera which is to be processed in step E14. Block matching is performed centering on the same position on the past screen of the camera located immediately below (just below). The above block matching is performed by the motion compensation prediction unit 30, and the block matching in this motion compensation prediction unit 30 is performed in the same manner as the conventional one.
【００８５】このように、予測されたアンカバードバッ
クグラウンド領域（位置情報）のみを用いることによ
り、他カメラの過去の画面を動き補償を行なう参照画面
の判定を行なうことができ、この動き補償における参照
画面は、より入力画面に近いものとなる。従って、予測
誤差が減少して符号化効率の向上を図ることができる。
また、いずれも過去の画像を用いているため、現在の画
像を用いるよりも各画像間の遅延等が生じにくい利点が
ある。As described above, by using only the predicted uncovered background area (positional information), it is possible to determine the reference screen for motion compensation of the past screen of another camera. The reference screen is closer to the input screen. Therefore, the prediction error is reduced and the coding efficiency can be improved.
In addition, since all of the past images are used, there is an advantage that a delay between the images is less likely to occur than when the current image is used.
【００８６】（ｂ）第２実施例の説明 図１３は、本発明の第２実施例を示すブロック図である
が、この図１３に示す装置は、スイッチ１２，ブロック
マッチング部１４，グローバルベクトル検出部１５，ア
ンカバードバックグラウンド予測部１６，参照画面判定
部１７′及び動き補償予測部３０をそなえて構成されて
いる。(B) Description of Second Embodiment FIG. 13 is a block diagram showing a second embodiment of the present invention. The apparatus shown in FIG. 13 has a switch 12, a block matching unit 14, and a global vector detection. It comprises a unit 15, an uncovered background prediction unit 16, a reference screen determination unit 17 ', and a motion compensation prediction unit 30.
【００８７】ここで、スイッチ１２，ブロックマッチン
グ部１４，グローバルベクトル検出部１５，アンカバー
ドバックグラウンド予測部１６及び動き補償予測部３０
は前述の第１実施例のものと同様のものであるので、そ
の詳細な説明は省略する。この第２実施例において、前
述の第１実施例と異なるのは、参照画面判定部１７′で
あるが、この参照画面判定部１７′は、は、アンカバー
ドバックグラウンド予測部１６にて検出したアンカバー
ドバックグラウンド領域について、他カメラからの過去
の出力を用いる際に、処理をしようとしているブロック
のグローバル動き補償ベクトル等とアンカバードブロッ
クの位置を参照して、どのカメラからの過去の出力を用
いるかを決定するものである。Here, the switch 12, the block matching unit 14, the global vector detection unit 15, the uncovered background prediction unit 16 and the motion compensation prediction unit 30.
Since this is the same as that of the above-mentioned first embodiment, its detailed description is omitted. The second embodiment is different from the first embodiment described above in the reference screen determination unit 17 ', but this reference screen determination unit 17' is detected by the uncovered background prediction unit 16. Regarding the uncovered background area, when using the past output from other cameras, refer to the global motion compensation vector etc. of the block to be processed and the position of the uncovered block to determine the past output from which camera. It decides whether to use.
【００８８】このため、ブロックマッチング部１４で出
力する動き補償ベクトル及び局所的な動き補償ベクトル
は、グローバルベクトル検出部１５に出力されるほか、
参照画面判定部１７′へも出力されており、更にグロー
バル動き補償ベクトルパラメータは、アンカバードバッ
クグラウンド予測部１６のほかに、参照画面判定部１
７′へも入力されている。Therefore, the motion compensation vector and the local motion compensation vector output from the block matching unit 14 are output to the global vector detection unit 15, and
The global motion compensation vector parameter is also output to the reference screen determination unit 17 ′, and the global motion compensation vector parameter is also output to the reference screen determination unit 1 in addition to the uncovered background prediction unit 16.
It is also input to 7 '.
【００８９】つまり、この参照画面判定部１７′での参
照画面判定方法は、グローバル動き補償ベクトルが向い
ている方向のカメラの出力を使う場合は、カメラが回り
込んでアンカバードとなった領域を映す場合が多いこと
を利用したものであるということができる。ところで、
参照画面判定部１７′は、上記のような機能を発揮する
ため、図１４に示すように、比較部６１−１〜６１−
５，ＲＯＭ６２，グローバル動き補償ベクトル計算部６
４−１，第１演算部６４−２及び符号反転部６５−１，
６５−２をそなえて構成されている。That is, when the output of the camera in the direction in which the global motion compensation vector is directed is used, the reference screen determination method in the reference screen determination unit 17 'is such that the unwrapped area of the camera wraps around. It can be said that this is because it is often reflected. by the way,
Since the reference screen determination unit 17 'exerts the above-described function, as shown in FIG. 14, the comparison units 61-1 to 61-
5, ROM 62, global motion compensation vector calculation unit 6
4-1, the 1st calculation part 64-2, and the sign inversion part 65-1,
65-2.
【００９０】ここで、比較部６１−１〜６１−５は、ア
ンカバード判定結果によるアンカバードかどうかの判別
及び、グローバル動き補償ベクトル等の方向を判別をす
るものであり、この判別結果は、１ビットの情報として
ＲＯＭ６２に入力しているものである。ＲＯＭ６２は、
比較部６１−１〜６１−５からのグローバル動き補償ベ
クトルに関する判別情報とカメラ位置情報とをそれぞれ
入力し、これらの入力に応じてスイッチ１２にスイッチ
ング情報を出力するものである。Here, the comparing units 61-1 to 61-5 are for judging whether or not it is uncovered based on the uncovered judgment result, and for judging the direction of the global motion compensation vector and the like. The information is input to the ROM 62 as 1-bit information. ROM62 is
Discrimination information regarding the global motion compensation vector and camera position information from the comparison units 61-1 to 61-5 are input respectively, and switching information is output to the switch 12 in response to these inputs.
【００９１】グローバル動き補償ベクトル計算部６４−
１は、処理しようとしているブロックにおける、左上の
座標（ｉ，ｊ）とグローバル動き補償ベクトルパラメー
タ（Ｐｈ，Ｐｖ，ｚ）とを用いることにより、そのブロ
ックにおけるグローバル動き補償ベクトル（Ｕｘ，Ｕ
ｙ）を計算するものである。第１乗算部６４−２はグロ
ーバル動き補償ベクトルのｘ成分Ｕｘに対し定数「１／
４」を乗算するものである。また、第２乗算部６４−３
は、第１乗算部６４−２の出力に対して定数「３」乗算
して出力するものである。Global motion compensation vector calculator 64-
1 uses the upper left coordinates (i, j) and the global motion compensation vector parameter (Ph, Pv, z) in the block to be processed to obtain the global motion compensation vector (Ux, U) in the block.
y) is calculated. The first multiplication unit 64-2 has a constant "1 /" for the x component Ux of the global motion compensation vector.
4 ”is multiplied. Also, the second multiplication unit 64-3
Is for multiplying the output of the first multiplying unit 64-2 by a constant "3" and outputting the result.
【００９２】符号反転部６５−１及び符号反転部６５−
２は、それぞれ、第２乗算部６４−３の出力及び第１乗
算部６４−２の出力の符号を反転させて出力させるもの
である。上述の構成により、本発明の第２実施例にかか
る多眼式立体映像の動き補償予測方法では、２眼以上の
多眼式立体映像についての動き補償予測を行なうに際し
て、まず該当カメラからの現在の出力と過去の出力か
ら、ブロックマッチング部１４とグローバル動き補償ベ
クトル検出部１５とにより、動き補償ベクトルとグロー
バル動き補償ベクトルパラメータとを計算する。Sign reversing unit 65-1 and sign reversing unit 65-
2 inverts the sign of the output of the second multiplication unit 64-3 and the output of the first multiplication unit 64-2, and outputs the result. With the above-described configuration, in the motion-compensated prediction method for multi-view stereoscopic video according to the second embodiment of the present invention, when performing motion-compensated prediction for multi-view stereoscopic video with two or more eyes, first the current from the corresponding camera is used. The block matching unit 14 and the global motion compensation vector detection unit 15 calculate the motion compensation vector and the global motion compensation vector parameter from the output of the above and the past output.
【００９３】さらに、ブロックマッチング部１４により
動き補償ベクトルからグローバル動き補償ベクトルパラ
メータを除いた局所的な動き補償ベクトルを求めた上
で、アンカバードバックグラウンド予測部１６におい
て、グローバル動き補償ベクトルパラメータを用いて、
アンカバードバックグラウンド領域を検出する。そし
て、参照画面判定部１７′と動き補償予測部１３とによ
り、このアンカバードバックグラウンド領域について他
カメラからの過去の出力を用いて、動き補償予測を行な
う。Furthermore, after the block matching unit 14 obtains a local motion compensation vector by removing the global motion compensation vector parameter from the motion compensation vector, the uncovered background prediction unit 16 uses the global motion compensation vector parameter. hand,
Detect uncovered background area. Then, the reference screen determination unit 17 'and the motion compensation prediction unit 13 perform motion compensation prediction for this uncovered background area using past outputs from other cameras.
【００９４】このとき、アンカバードバックグラウンド
予測部１６においては、グローバル動き補償ベクトルパ
ラメータを用いて、アンカバードバックグラウンド領域
を検出するに際し、画面を拡大状態から小さくしていく
場合は、グローバル動き補償ベクトルパラメータのズー
ムパラメータを用いて、画面の周辺部をアンカバードバ
ックグラウンド領域として検出する。このときの詳細な
フローチャートは図３に示すものと同じである。At this time, the uncovered background prediction unit 16 uses the global motion compensation vector parameter to detect the uncovered background area, and when the screen is reduced from the enlarged state, the global motion compensation is performed. The periphery of the screen is detected as an uncovered background area using the zoom parameter of the vector parameter. The detailed flow chart at this time is the same as that shown in FIG.
【００９５】また、アンカバードバックグラウンド予測
部１６においては、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出するに際し、画面を移動させる場合は、グローバル動
き補償ベクトルパラメータのパンパラメータを用いて、
動いた方の画面の周辺部をアンカバードバックグラウン
ド領域として検出する。このときの詳細なフローチャー
トは、図４に示すものと同じである。Further, in the uncovered background prediction unit 16, when the screen is moved when the uncovered background area is detected using the global motion compensation vector parameter, the pan parameter of the global motion compensation vector parameter is used. make use of,
The periphery of the moving screen is detected as an uncovered background area. The detailed flowchart at this time is the same as that shown in FIG.
【００９６】なお、このアンカバードバックグラウンド
予測部１６は、ブロックマッチング部１４で求めた局所
的な動き補償ベクトルを用い、現在処理しようとしてい
るブロックの局所的な動き補償ベクトルが周囲のブロッ
クの局所的な動き補償ベクトルと比較して、異なる場
合、例えば、その差が第１しきい値を越える個数が第２
しきい値を越えた場合に、現在処理しようとしている当
該ブロックを、アンカバードバックグラウンド領域とし
て検出する。このときの詳細なフローチャートは、図５
に示すものと同一である。The uncovered background prediction unit 16 uses the local motion compensation vector obtained by the block matching unit 14, and the local motion compensation vector of the block currently being processed is the local motion compensation vector of the surrounding blocks. If the difference is greater than the first motion compensation vector, for example, the number of times the difference exceeds the first threshold is the second
When the threshold value is exceeded, the current block to be processed is detected as an uncovered background area. The detailed flowchart at this time is shown in FIG.
Is the same as that shown in.
【００９７】その後、このアンカバードバックグラウン
ド予測部１６では、上記ズームパラメータを用いたアン
カバードバックグラウンド領域とパンパラメータを用い
た当該領域と局所的な動き補償ベクトルを用いて検出し
た当該領域との論理和をとり、これをアンカバードバッ
クグラウンド領域として検出する。このときの詳細なフ
ローチャートは、図６に示すものと同一である。After that, the uncovered background prediction unit 16 divides the uncovered background area using the zoom parameter, the area using the pan parameter, and the area detected using the local motion compensation vector. The logical sum is taken and this is detected as an uncovered background area. The detailed flow chart at this time is the same as that shown in FIG.
【００９８】さらに、参照画面判定部１７′で、アンカ
バードバックグラウンド予測部１６にて 検出したアン
カバードバックグラウンド領域について、他カメラから
の過去の出力を用いる際に、処理をしようとしているブ
ロックのグローバル動き補償ベクトルと、現在処理しよ
うとしているベクトルの位置を参照して、どのカメラか
らの過去の出力を用いるかを決定することが行なわれ
る。Further, in the reference screen determination unit 17 ', the uncovered background area detected by the uncovered background prediction unit 16 is used for the block to be processed when the past output from another camera is used. Reference is made to the position of the global motion compensation vector and the vector currently being processed to determine which camera's past output to use.
【００９９】そして、この参照画面判定部１７′で行な
われる参照画面判定方法では、図１５，図１６，図１７
に示すフローチャートに従って動作する。まず図１５に
おけるステップＦ１において、初期設定として、画面の
中心の座標を原点（０，０）とし、ｘ軸方向の画面の最
大値をＡ、ｙ軸方向の画面の最大値をＢとする座標系を
設定する。The reference screen determining method performed by the reference screen determining unit 17 'is shown in FIG. 15, FIG. 16, and FIG.
It operates according to the flowchart shown in. First, in step F1 in FIG. 15, as initial setting, the coordinates of the center of the screen are the origin (0, 0), the maximum value of the screen in the x-axis direction is A, and the maximum value of the screen in the y-axis direction is B. Set the system.
【０１００】また、処理しようとしているブロックの左
上の座標を（ｉ，ｊ）とする。そして、元の動き補償ベ
クトルを（Ｖｅｃｘ，Ｖｅｃｙ）、グローバル動き補償
パラメータを（Ｐｈ，Ｐｖ，Ｚ）とし、元の動き補償ベ
クトルからグローバル動き補償の成分を除いた局所的な
動き補償ベクトル（Ｖｘ，Ｖｙ）とする。ここで、図１
３における参照画面判定部１７′での参照画面の判定時
には、アンカバードバックグラウンド予測部１６による
アンカバードバックグラウンドの予測は、すでに完了し
ている。The upper left coordinate of the block to be processed is (i, j). Then, the original motion compensation vector is (Vecx, Vecy), the global motion compensation parameter is (Ph, Pv, Z), and the local motion compensation vector (Vx is obtained by removing the global motion compensation component from the original motion compensation vector. , Vy). Here, FIG.
When the reference screen determination unit 17 'determines the reference screen in 3, the uncovered background prediction by the uncovered background prediction unit 16 has already been completed.
【０１０１】このため、ステップＦ２で、処理しようと
しているブロックが、アンカバードバックグラウンドか
どうかを図１４における比較部６１−１により判別す
る。ここで、アンカバードバックグラウンドでない場合
は、ステップＦ３で、参照画面は、同じカメラの過去の
画面の同位置を中心として、ブロックマッチングを行な
う。Therefore, in step F2, the comparison unit 61-1 in FIG. 14 determines whether the block to be processed is the uncovered background. Here, if it is not the uncovered background, in step F3, the reference screen is subjected to block matching with the same position of the past screen of the same camera as the center.
【０１０２】また、当該ブロックがアンカバードバック
グラウンドである場合は、ステップＦ４で、ブロックに
おけるグローバル動き補償ベクトル（Ｕｘ，Ｕｙ）を計
算する。計算方法としては、グローバル動き補償パラメ
ータ（Ｐｈ，Ｐｖ，Ｚ）とブロックの座標（ｉ，ｊ）を
用いて計算する。なお、このグローバル動き補償ベクト
ル（Ｕｘ，Ｕｙ）の計算方法として、元の動き補償ベク
トルから局所的な動き補償ベクトルを引き算して算出す
る方法もある（ステップＦ４′）。If the block is the uncovered background, the global motion compensation vector (Ux, Uy) in the block is calculated in step F4. As the calculation method, calculation is performed using the global motion compensation parameter (Ph, Pv, Z) and the block coordinates (i, j). As a method of calculating the global motion compensation vector (Ux, Uy), there is also a method of calculating by subtracting the local motion compensation vector from the original motion compensation vector (step F4 ').
【０１０３】次に、ステップＦ５で、カメラが右端でな
いか否かを調べる。ここで右端であるならば、ステップ
Ｆ３で、参照画面は、同じカメラの過去の画面の同位置
を中心として、ブロックマッチングを行なう。また、右
端でなければ、ステップＦ６で、Ｕｙが−Ｕｘ／４以上
でかつＵｘ／４以下かどうかを判別する。つまり、動き
補償ベクトルのｙ成分Ｕｙが、図１８における（ａ）の
領域にあるかどうかを判別する。Then, in step F5, it is checked whether or not the camera is at the right end. If it is the right end here, in step F3, the reference screen performs block matching with the same position of the past screen of the same camera as the center. If it is not the right end, it is determined in step F6 whether Uy is greater than or equal to −Ux / 4 and less than or equal to Ux / 4. That is, it is determined whether or not the y component Uy of the motion compensation vector is in the area (a) in FIG.
【０１０４】ここで、Ｕｙが当該領域にある場合は、ス
テップＦ７で、参照画面は処理しようとしているカメラ
の真右側（あるいは真右端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。上記の場合のいずれにも該当しない場合は、ステッ
プＦ８で、カメラが右上端でないか否かを調べる。ここ
で、右上端ならば、ステップＦ３で、参照画面は、同じ
カメラの過去の画面の同位置を中心として、ブロックマ
ッチングを行なう。Here, when Uy is in the area, in step F7, the reference screen is centered on the same position on the past screen of the camera located on the right side (or right end) of the camera to be processed. Perform block matching. If none of the above cases apply, it is checked in step F8 if the camera is not at the upper right end. Here, if it is the upper right end, in step F3, the reference screen performs block matching with the same position of the past screen of the same camera as the center.
【０１０５】また、カメラが右上端でない場合は、ステ
ップＦ９で、ＵｙがＵｘ／４以上Ｕｘ×３／４以下であ
るがどうかを判断する。つまり、動き補償ベクトルのｙ
成分Ｕｙが、図１８における（ｂ）の領域にあるかどう
かを判別する。ここで、Ｕｙが当該領域にある場合は、
ステップＦ１０で、参照画面は処理しようとしているカ
メラの右上側（あるいは右上端）に位置するカメラの過
去の画面の同位置を中心とし、ブロックマッチングを行
なう。If the camera is not at the upper right corner, it is determined in step F9 whether Uy is Ux / 4 or more and Ux × 3/4 or less. That is, y of the motion compensation vector
It is determined whether or not the component Uy is in the area (b) in FIG. Here, when Uy is in the area,
In step F10, the reference screen is subjected to block matching with the same position on the past screen of the camera located on the upper right side (or the upper right end) of the camera to be processed as the center.
【０１０６】上記の場合に該当しないときは、図１６に
おけるステップＦ１１で、カメラが上端でないか否かを
調べる。ここで、上端であるならば、ステップＦ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
して、ブロックマッチングを行なう。また、カメラが上
端にない場合は、ステップＦ１２で、ＵｙがＵｘ×３／
４以上かつ−Ｕｘ×３／４以上の範囲に該当するかどう
かを判別する。つまり、動き補償ベクトルのｙ成分Ｕｙ
が、図１８における（ｃ）の領域にあるかどうかを判別
する。If the above case is not applicable, it is checked in step F11 in FIG. 16 if the camera is not at the upper end. Here, if it is the upper end, in step F3,
The reference screen performs block matching centering on the same position on the past screen of the same camera. If the camera is not at the top, Uy is Ux × 3 / in step F12.
It is determined whether or not the range is 4 or more and −Ux × 3/4 or more. That is, the y component Uy of the motion compensation vector
Is in the area (c) in FIG.
【０１０７】ここで、Ｕｙが当該領域にある場合は、ス
テップＦ１３で、参照画面は処理しようとしているカメ
ラの上側（あるいは上端）に位置するカメラの過去の画
面の同位置を中心とし、ブロックマッチングを行なう。
また、Ｕｙが上記の範囲に該当しない場合は、ステップ
Ｆ１４で、カメラが左上端でないか否かを調べる。ここ
で、カメラが左上端にあるならば、ステップＦ３で、参
照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。Here, when Uy is in the area, in step F13, the reference screen is centered on the same position on the past screen of the camera located above (or at the top of) the camera to be processed, and block matching is performed. Do.
If Uy does not fall within the above range, it is checked in step F14 if the camera is not at the upper left end. Here, if the camera is at the upper left corner, block matching is performed in step F3 with the reference screen centered on the same position on the past screen of the same camera.
【０１０８】しかし、カメラが左上端に無い場合は、ス
テップＦ１５で、Ｕｙが−Ｕｘ／４以上かつＵｘ×３／
４以上の範囲にあるかどうかを判別する。つまり、動き
補償ベクトルのｙ成分Ｕｙが、図１８における（ｄ）の
領域にあるかどうかを判別する。ここで、Ｕｙが当該領
域にある場合は、ステップＦ１６で、参照画面は処理し
ようとしているカメラの左上側（あるいは左上端）に位
置するカメラの過去の画面の同位置を中心とし、ブロッ
クマッチングを行なう。However, if the camera is not at the upper left corner, Uy is -Ux / 4 or more and Ux × 3 / in step F15.
It is determined whether the range is 4 or more. That is, it is determined whether or not the y component Uy of the motion compensation vector is in the area (d) in FIG. Here, if Uy is in the area, in step F16, the reference screen is centered on the same position on the past screen of the camera located on the upper left side (or the upper left end) of the camera to be processed, and block matching is performed. To do.
【０１０９】Ｕｙが上記の範囲に該当しない場合は、ス
テップＦ１７で、カメラが左端でないか否かを調べる。
ここで、カメラが左端にあるならば、ステップＦ３で、
参照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。しかし、カメラが左
端に無い場合は、図１７におけるステップＦ１８で、Ｕ
ｙがＵｘ／４以上−Ｕｘ／４以下の範囲にあるかどうか
を判別する。つまり、動き補償ベクトルのｙ成分Ｕｙ
が、図１８における（ｅ）の領域にあるかどうかを判別
する。If Uy does not fall within the above range, it is checked in step F17 if the camera is not at the left end.
Here, if the camera is at the left end, in step F3,
The reference screen performs block matching centering on the same position on the past screen of the same camera. However, if the camera is not at the left end, in step F18 in FIG.
It is determined whether y is in the range of Ux / 4 or more and −Ux / 4 or less. That is, the y component Uy of the motion compensation vector
Is in the area (e) in FIG.
【０１１０】ここで、Ｕｙが前記の範囲にある場合は、
ステップＦ１９で、参照画面は処理しようとしているカ
メラの左側（あるいは左端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。Ｕｙが上記の範囲に該当しない場合は、ステップＦ
２０で、カメラが左下端にあるかどうかを判別する。こ
こで、カメラが左下端にある場合は、ステップＦ３で、
参照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。Here, when Uy is in the above range,
In step F19, the reference screen is subjected to block matching with the same position on the past screen of the camera located on the left side (or left end) of the camera to be processed as the center. If Uy does not fall within the above range, step F
At 20, it is determined whether the camera is at the lower left corner. Here, if the camera is at the lower left corner, in step F3,
The reference screen performs block matching centering on the same position on the past screen of the same camera.
【０１１１】しかし、カメラが左下端にない場合は、ス
テップＦ２１で、ＵｙがＵｘ×３／４以上Ｕｘ／４以下
の範囲にあるかどうかを判別する。つまり、動き補償ベ
クトルのｙ成分Ｕｙが、図１８における（ｆ）の領域に
あるかどうかを判別する。ここで、Ｕｙが前記の範囲に
ある場合は、ステップＦ２２で、参照画面は処理しよう
としているカメラの左下側（あるいは左下端）に位置す
るカメラの過去の画面の同位置を中心とし、ブロックマ
ッチングを行なう。However, if the camera is not located at the lower left corner, it is determined in step F21 whether Uy is in the range of Ux × 3/4 or more and Ux / 4 or less. That is, it is determined whether or not the y component Uy of the motion compensation vector is in the area (f) in FIG. Here, if Uy is in the above range, in step F22, the reference screen is centered on the same position on the past screen of the camera located on the lower left side (or lower left end) of the camera to be processed, and block matching is performed. Do.
【０１１２】Ｕｙが上記の範囲に該当しない場合は、ス
テップＦ２３で、カメラが下端にあるかどうかを判別す
る。ここで、カメラが下端にある場合は、ステップＦ３
で、参照画面は同じカメラの過去の画面の同位置を中心
として、ブロックマッチングを行なう。ところが、カメ
ラが下端にない場合は、ステップＦ２４で、Ｕｙが−Ｕ
ｘ×３／４以下かつＵｘ×３／４以下の範囲にあるかど
うかを判別する。つまり、動き補償ベクトルのｙ成分Ｕ
ｙが、図１８における（ｇ）の領域にあるかどうかを判
別する。If Uy does not fall within the above range, it is determined in step F23 whether or not the camera is at the lower end. Here, if the camera is at the bottom, step F3
In the reference screen, block matching is performed centering on the same position on the past screen of the same camera. However, if the camera is not at the bottom, Uy is -U in step F24.
It is determined whether or not it is in the range of x × 3/4 or less and Ux × 3/4 or less. That is, the y component U of the motion compensation vector
It is determined whether y is in the area (g) in FIG.
【０１１３】そして、Ｕｙが前記の範囲にある場合は、
ステップＦ２５で、参照画面は処理しようとしているカ
メラの下側（あるいは下端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。Ｕｙが上記の範囲にない場合は、ステップＦ２６
で、カメラが右下端にあるかどうかを判別する。ここ
で、カメラが右下端にある場合は、ステップＦ３で、参
照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。When Uy is in the above range,
In step F25, the reference screen is subjected to block matching with the same position on the past screen of the camera located below (or at the bottom of) the camera to be processed as the center. If Uy is not within the above range, step F26.
Then, it is determined whether or not the camera is at the lower right corner. Here, if the camera is located at the lower right corner, block matching is performed in step F3 with the reference screen centered on the same position on the past screen of the same camera.
【０１１４】しかし、カメラが右下端にない場合は、ス
テップＦ２７で、参照画面は処理しようとしているカメ
ラの右下側（あるいは下端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。このように、スイッチ１２と動き補償予測部３０と
ブロックマッチング部１４とグローバルベクトル検出部
１５とアンカバードバックグラウンド予測部１６と参照
画面判定部１７′とをそなえることにより、アンカバー
ドバックグラウンド領域を確実に予測することができる
ほか、予測されたアンカバードバックグラウンド領域
と、検出されたグローバル動き補償ベクトル等を用いる
ことにより、他カメラの過去の画面を動き補償を行なう
参照画面の判定を行なうことができ、この動き補償にお
ける参照画面は、より入力画面に近いものとなる。従っ
て、予測誤差が減少して符号化効率の向上を図ることが
できる。また、いずれも過去の画像を用いているため、
現在の画像を用いるよりも各画像間の遅延等が生じにく
い利点がある。However, if the camera is not located at the lower right corner, then in step F27, the reference screen is centered at the same position on the past screen of the camera located at the lower right side (or lower end) of the camera to be processed, and the reference screen is blocked. Match. As described above, by providing the switch 12, the motion compensation prediction unit 30, the block matching unit 14, the global vector detection unit 15, the uncovered background prediction unit 16 and the reference screen determination unit 17 ′, the uncovered background area is reduced. In addition to being able to predict with certainty, use the predicted uncovered background area, detected global motion compensation vector, etc. to determine the reference screen for motion compensation of past screens of other cameras. Therefore, the reference screen in this motion compensation becomes closer to the input screen. Therefore, the prediction error is reduced and the coding efficiency can be improved. In addition, since all use past images,
There is an advantage that a delay between images is less likely to occur than when the current image is used.
【０１１５】（ｃ）その他 上記の各実施例では、ズームパラメータ，パンパラメー
タ，局所的な動きに注目して、アンカバードバックグラ
ウンド領域を総合的に検出したが、用途によっては、ズ
ームパラメータ，パンパラメータ，局所的な動きのいず
れか一又は一部の組み合わせに着目してアンカガードバ
ックグラウンド領域を検出することもできる。(C) Others In each of the above embodiments, the uncovered background area is comprehensively detected by focusing on the zoom parameter, the pan parameter, and the local movement. It is also possible to detect the anchor guard background area by focusing on any one or a combination of parameters and local movements.
【０１１６】[0116]
【発明の効果】以上詳述したように、本発明の多眼式立
体映像の動き補償予測方法によれば、２眼以上の多眼式
立体映像についての動き補償予測を行なうに際して、ま
ず該当カメラからの現在の出力と過去の出力から、動き
補償ベクトルとグローバル動き補償ベクトルパラメータ
とを計算し、該動き補償ベクトルから該グローバル動き
補償ベクトルパラメータを除いた局所的な動き補償ベク
トルを求めた上で、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出してから、アンカバードバックグラウンド領域につい
て他カメラからの過去の出力を用いて、動き補償予測を
行なうことにより、予測誤差が減少して符号化効率の向
上を図ることができ、更には、各画像間の遅延等が生じ
にくい利点がある。As described in detail above, the multi-lens system of the present invention is used.
According to the motion-compensated prediction method for body images, a multi-view type with two or more eyes
When performing motion compensation prediction for 3D images,
The current output and past output from the corresponding camera
Compensation vector and global motion compensation vector parameters
And calculate the global motion from the motion compensation vector.
Local motion compensation vector without compensation vector parameter
After calculating the torque, the global motion compensation vector parameter
Monitor the uncovered background area.
And then uncover the uncovered background area.
Motion compensated prediction using past outputs from other cameras.
By doing so, the prediction error is reduced and the coding efficiency is improved.
It is possible to improve, and there is a delay between each image.
There are difficult advantages.
【０１１７】また、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出するに際し、画面を拡大状態から小さくしていく場合
は、グローバル動き補償ベクトルパラメータのズームパ
ラメータを用いて、画面の周辺部をアンカバードバック
グラウンド領域として検出することにより、画面を拡大
状態から小さくしていく場合においても、正確な動き補
償を行なうことがき、従って符号化効率の向上、ひいて
は各画像間の遅延を減少させることができる等の利点が
ある。When the uncovered background area is detected by using the global motion compensation vector parameter, if the screen is reduced from the enlarged state, the zoom parameter of the global motion compensation vector parameter is used. By detecting the peripheral part as an uncovered background area, accurate motion compensation can be performed even when the screen is reduced from the enlarged state, and therefore the coding efficiency is improved and the delay between images is reduced. There is an advantage that it can be reduced.
【０１１８】そして、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、画面を移動させる場合は、グローバル
動き補償ベクトルパラメータのパンパラメータを用い
て、動いた方の画面の周辺部をアンカバードバックグラ
ウンド領域として検出することにより、画面を移動させ
る場合においても、正確な動き補償を行なうことがき、
従って符号化効率の向上、更には、各画像間の遅延を減
少させることができる等の利点がある。Then, when the screen is moved when the uncovered background area is detected using the global motion compensation vector parameter, the pan parameter of the global motion compensation vector parameter is used to detect the periphery of the moving screen. By detecting a part as an uncovered background area, accurate motion compensation can be performed even when moving the screen.
Therefore, there are advantages that the coding efficiency is improved and the delay between each image can be reduced.
【０１１９】さらに、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、局所的な動き補償ベクトルを用い、現
在処理しようとしているブロックの局所的な動き補償ベ
クトルが周囲のブロックの局所的な動き補償ベクトルと
比較して、異なる場合に、現在処理しようとしている当
該ブロックを、アンカバードバックグラウンド領域とし
て検出することにより、符号化の効率向上に資すること
ができる。Furthermore, when detecting the uncovered background area using the global motion compensation vector parameter, the local motion compensation vector is used, and the local motion compensation vector of the block currently being processed is the surrounding block. If it is different from the local motion compensation vector of, the current block to be processed is detected as an uncovered background area, which can contribute to improvement of encoding efficiency.
【０１２０】そして、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、局所的な動き補償ベクトルを用い、現
在処理しようとしているブロックの局所的な動き補償ベ
クトルが周囲のブロックの局所的な動き補償ベクトルと
比較して、その差が第１しきい値を越える個数が第２し
きい値を越えた場合に、現在処理しようとしている当該
ブロックを、アンカバードバックグラウンド領域として
検出することにより、予測誤差が減少して符号化効率の
向上を図ることができる。また、各画像間の遅延等が生
じにくい利点がある。When the uncovered background area is detected using the global motion compensation vector parameter, the local motion compensation vector is used, and the local motion compensation vector of the block currently being processed is the surrounding block. Of the local motion compensation vector of the above, and if the difference exceeds the first threshold value and the number exceeds the second threshold value, the current block to be processed is set as the uncovered background area. By detecting, the prediction error is reduced and the coding efficiency can be improved. In addition, there is an advantage that a delay between images is less likely to occur.
【０１２１】ところで、アンカバードバックグラウンド
領域について他カメラからの過去の出力を用いる際に、
処理をしようとしているブロックの位置を参照して、ど
のカメラからの過去の出力を用いるかを決定することに
より、より動き補償における参照画面が、入力画面に近
いものとなり、その結果、予測誤差が減少して符号化効
率の向上を図ることができる。By the way, when using past outputs from other cameras for the uncovered background area,
By referring to the position of the block to be processed and deciding which camera to use the past output, the reference screen in motion compensation becomes closer to the input screen, and as a result, the prediction error is reduced. It is possible to reduce the coding efficiency and improve the coding efficiency.
【０１２２】また、アンカバードバックグラウンド領域
について他カメラからの過去の出力を用いる際に、処理
をしようとしているブロックのグローバル動き補償ベク
トルを参照して、どのカメラからの過去の出力を用いる
かを決定することにより予測誤差が減少して符号化効率
の向上を図ることができる利点がある。When the past output from another camera is used for the uncovered background area, the global output of the motion compensation vector of the block to be processed is referred to and the past output from which camera is used. The determination has the advantage that the prediction error is reduced and the coding efficiency can be improved.
【図１】本発明の原理ブロック図である。FIG. 1 is a principle block diagram of the present invention.
【図２】本発明の第１実施例を示すブロック図である。FIG. 2 is a block diagram showing a first embodiment of the present invention.
【図３】ズームパラメータを用いてアンカバードバック
グラウンド領域を検出する要領を説明するためのフロー
チャートである。FIG. 3 is a flowchart illustrating a procedure for detecting an uncovered background area using a zoom parameter.
【図４】パンパラメータを用いてアンカバードバックグ
ラウンド領域を検出する要領を説明するためのフローチ
ャートである。FIG. 4 is a flowchart illustrating a procedure for detecting an uncovered background area using a pan parameter.
【図５】局所的な動きに注目してアンカバードバックグ
ラウンド領域を検出する要領を説明するためのフローチ
ャートである。FIG. 5 is a flowchart for explaining a procedure for detecting an uncovered background area by paying attention to local movement.
【図６】アンカバードバックグラウンド領域の検出要領
を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining how to detect an uncovered background area.
【図７】アンカバードバックグラウンド領域の検出要領
を具体的に説明するための図である。FIG. 7 is a diagram for specifically explaining how to detect an uncovered background area.
【図８】アンカバードバックグラウンド領域の検出要領
を具体的に説明するための図である。FIG. 8 is a diagram for specifically explaining how to detect an uncovered background area.
【図９】本発明の第１実施例にかかる参照画面判定部を
示すブロック図である。FIG. 9 is a block diagram showing a reference screen determination unit according to the first embodiment of the present invention.
【図１０】本発明の第１実施例にかかる参照画面判定要
領を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining a reference screen determination procedure according to the first example of the present invention.
【図１１】本発明の第１実施例にかかる参照画面判定要
領を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining a reference screen determination procedure according to the first example of the present invention.
【図１２】本発明の第１実施例にかかる参照画面を説明
する図である。FIG. 12 is a diagram illustrating a reference screen according to the first embodiment of the present invention.
【図１３】本発明の第２実施例を示すブロック図であ
る。FIG. 13 is a block diagram showing a second embodiment of the present invention.
【図１４】本発明の第２実施例にかかる参照画面判定部
を示すブロック図である。FIG. 14 is a block diagram showing a reference screen determination unit according to a second embodiment of the present invention.
【図１５】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。FIG. 15 is a flowchart for explaining a reference screen determination procedure according to the second embodiment of the present invention.
【図１６】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。FIG. 16 is a flowchart for explaining a reference screen determination procedure according to the second example of the present invention.
【図１７】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。FIG. 17 is a flowchart for explaining a reference screen determination procedure according to the second example of the present invention.
【図１８】本発明の第２実施例にかかる参照画面を説明
する図である。FIG. 18 is a diagram illustrating a reference screen according to the second embodiment of the present invention.
【図１９】多眼式立体映像システムを示す図である。FIG. 19 is a diagram showing a multi-view stereoscopic image system.
【図２０】多眼式（５眼×５眼）のカメラの出力例を示
す図である。[Fig. 20] Fig. 20 is a diagram illustrating an output example of a multi-view camera (5 eyes x 5 eyes).
【図２１】ホログラフィック・ステレオグラムを示す図
である。FIG. 21 is a diagram showing a holographic stereogram.
【図２２】従来の動き補償方法を示すブロック図であ
る。FIG. 22 is a block diagram showing a conventional motion compensation method.
【図２３】従来の動き補償方法にかかるブロックマッチ
ングを示す図である。FIG. 23 is a diagram showing block matching according to a conventional motion compensation method.
【図２４】従来の視差補償方法を示すブロック図であ
る。FIG. 24 is a block diagram showing a conventional parallax compensation method.
【図２５】従来のブロックマッチングと視差補償ベクト
ルの検出を説明するためのフローチャートである。FIG. 25 is a flowchart illustrating conventional block matching and detection of a parallax compensation vector.
１ａ−１〜１ａ−ｎ カメラ出力 １−１〜１−ｎ カメラ出力 ２，１２ スイッチ ３，３０ 動き補償予測部 ４，１４，３１，２１２ ブロックマッチング部 ５，１５ グローバルベクトル検出部 ６，１６ アンカバードバックグラウンド予測部 ７，１７，１７′ 参照画面判定部 ３２，２０２，２１４ 可変遅延部 ３３，２０３ 第１演算部 ３４，２０４，２１６，２１８ａ，２１８ｂ 符号化部 ３５，２０５，２１７，２２０ 可変長符号化部 ３６，２０６ ローカルデコード部 ３７，２０７ 第２演算部 ３８，２０８ メモリ ５１−１〜５１−６，６１−１〜６１−５ 比較部 ５２，６２ ＲＯＭ ５３，６３ スイッチ ５４ 第３演算部 ５５ 乗算部 ５６，６５−１，６５−２ 符号反転部 ６４−１ グローバル動き補償ベクトル計算部 ６４−２ 第１乗算部 ６４−３ 第２乗算部 １０１ 被写体 １０２ カメラ １０３ 符号化器 １０４ マルチプレクス器 １０５ デマルチプレクス器 １０６ 復号器 １０７ ディスプレイ １０８ 画像サイズ変換部 １０９ 位相計算部 １１０ ホログラフィック出力系 ２０１ ブロックマッチング及びベクトル検出部 ２０９ ２乗誤差算出部 ２０９−１，２１５ 減算部 ２０９−２ ２乗計算部 ２０９−３ 加算部 ２０９−４，２１１−２，２１１−５ 遅れ要素 ２１０ ベクトル変換部 ２１１ ベクトル検出部 ２１１−１ 比較部 ２１１−３，２１１−４ セレクタ ２１３ 視差補償ベクトル検出部 1a-1 to 1a-n camera output 1-1 to 1-n camera output 2,12 switch 3,30 motion compensation prediction unit 4,14,31,212 block matching unit 5,15 global vector detection unit 6,16 Anne Covered background prediction unit 7, 17, 17 'Reference screen determination unit 32, 202, 214 Variable delay unit 33, 203 First calculation unit 34, 204, 216, 218a, 218b Encoding unit 35, 205, 217, 220 Variable Long encoding unit 36,206 Local decoding unit 37,207 Second calculation unit 38,208 Memory 51-1 to 51-6, 61-1 to 61-5 Comparison unit 52,62 ROM 53,63 Switch 54 Third calculation Unit 55 multiplication unit 56, 65-1, 65-2 sign inversion unit 64-1 global motion compensation vector calculation unit 64-2 first Calculation unit 64-3 Second multiplication unit 101 Subject 102 Camera 103 Encoder 104 Multiplexer 105 Demultiplexer 106 Decoder 107 Display 108 Image size conversion unit 109 Phase calculation unit 110 Holographic output system 201 Block matching and vector Detection unit 209 Square error calculation unit 209-1,215 Subtraction unit 209-2 Square calculation unit 209-3 Addition unit 209-4, 211-2, 211-5 Delay element 210 Vector conversion unit 211 Vector detection unit 211- 1 Comparing Unit 211-3, 211-4 Selector 213 Parallax Compensation Vector Detecting Unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kiichi Matsuda 1015 Kamiodanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Fujitsu Limited
Claims (7)
き補償予測を行なうに際して、 まず該当カメラからの現在の出力と過去の出力から、動
き補償ベクトルとグローバル動き補償ベクトルパラメー
タとを計算し、該動き補償ベクトルから該グローバル動
き補償ベクトルパラメータを除いた局所的な動き補償ベ
クトルを求めた上で、 該グローバル動き補償ベクトルパラメータを用いて、ア
ンカバードバックグラウンド領域を検出してから、 該アンカバードバックグラウンド領域について他カメラ
からの過去の出力を用いて、動き補償予測を行なうこと
を特徴とする、多眼式立体映像の動き補償予測方法。1. A motion compensation vector and a global motion compensation vector parameter are first calculated from current output and past output from a corresponding camera when performing motion compensation prediction for a multi-view stereoscopic image of two or more eyes. The local motion compensation vector is obtained by removing the global motion compensation vector parameter from the motion compensation vector, and the uncovered background area is detected using the global motion compensation vector parameter. A motion-compensated prediction method for a multi-view stereoscopic image, characterized by performing motion-compensated prediction using past outputs from other cameras for a covered background area.
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、 画面を拡大状態から小さくしていく場合は、該グローバ
ル動き補償ベクトルパラメータのズームパラメータを用
いて、画面の周辺部を該アンカバードバックグラウンド
領域として検出することを特徴とする請求項１記載の多
眼式立体映像の動き補償予測方法。2. When detecting an uncovered background area using the global motion compensation vector parameter, when the screen is reduced from the enlarged state, the zoom parameter of the global motion compensation vector parameter is used, The method according to claim 1, wherein a peripheral portion of the screen is detected as the uncovered background area.
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、 画面を移動させる場合は、該グローバル動き補償ベクト
ルパラメータのパンパラメータを用いて、動いた方の画
面の周辺部を該アンカバードバックグラウンド領域とし
て検出することを特徴とする請求項１記載の多眼式立体
映像の動き補償予測方法。3. When the screen is moved when the uncovered background area is detected using the global motion compensation vector parameter, the moving screen is displayed using the pan parameter of the global motion compensation vector parameter. 2. The motion-compensated prediction method for multi-view stereoscopic video according to claim 1, wherein the peripheral portion of the image is detected as the uncovered background area.
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、 局所的な動き補償ベクトルを用い、現在処理しようとし
ているブロックの局所的な動き補償ベクトルが周囲のブ
ロックの局所的な動き補償ベクトルと比較して、異なる
場合に、現在処理しようとしている当該ブロックを、該
アンカバードバックグラウンド領域として検出すること
を特徴とする請求項１記載の多眼式立体映像の動き補償
予測方法。4. A global motion compensation vector parameter is used to detect an uncovered background area, a local motion compensation vector is used, and a local motion compensation vector of a block currently being processed The multi-view stereoscopic image according to claim 1, wherein, when compared with the local motion compensation vector of the block, if the block is different, the block currently to be processed is detected as the uncovered background area. Motion compensated prediction method.
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、 局所的な動き補償ベクトルを用い、現在処理しようとし
ているブロックの局所的な動き補償ベクトルが周囲のブ
ロックの局所的な動き補償ベクトルと比較して、その差
が第１しきい値を越える個数が第２しきい値を越えた場
合に、現在処理しようとしている当該ブロックを、該ア
ンカバードバックグラウンド領域として検出することを
特徴とする請求項４記載の多眼式立体映像の動き補償予
測方法。5. A global motion compensation vector parameter is used to detect an uncovered background area, a local motion compensation vector is used, and a local motion compensation vector of a block currently being processed If the number of differences exceeding the first threshold value exceeds the second threshold value as compared with the local motion compensation vector of the block, the block currently being processed is treated as the uncovered background. 5. The method of motion-compensated prediction of multi-view stereoscopic video according to claim 4, wherein the method is detected as a region.
ついて他カメラからの過去の出力を用いる際に、処理を
しようとしているブロックの位置を参照して、どのカメ
ラからの過去の出力を用いるかを決定することを特徴と
する請求項１記載の多眼式立体映像の動き補償予測方
法。6. When using the past output from another camera for the uncovered background area, it is determined which camera uses the past output by referring to the position of the block to be processed. The method according to claim 1, wherein the method is a motion-compensated prediction method for multi-view stereoscopic video.
ついて他カメラからの過去の出力を用いる際に、処理を
しようとしているブロックのグローバル動き補償ベクト
ルを参照して、どのカメラからの過去の出力を用いるか
を決定することを特徴とする請求項１記載の多眼式立体
映像の動き補償予測方法。7. When using the past output from another camera for the uncovered background area, which camera is used as the past output by referring to the global motion compensation vector of the block to be processed. The method according to claim 1, wherein the motion compensation prediction method for multi-view stereoscopic video is determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26174892A JP3080487B2 (en) | 1992-09-30 | 1992-09-30 | Motion compensation prediction method for multi-view stereoscopic video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26174892A JP3080487B2 (en) | 1992-09-30 | 1992-09-30 | Motion compensation prediction method for multi-view stereoscopic video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06113338A true JPH06113338A (en) | 1994-04-22 |
| JP3080487B2 JP3080487B2 (en) | 2000-08-28 |
Family
ID=17366165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26174892A Expired - Fee Related JP3080487B2 (en) | 1992-09-30 | 1992-09-30 | Motion compensation prediction method for multi-view stereoscopic video |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3080487B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003003307A1 (en) * | 2001-06-27 | 2003-01-09 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| WO2003003308A1 (en) * | 2001-06-27 | 2003-01-09 | Sony Corporation | Communication apparatus and method |
| JP2003233817A (en) * | 2002-02-08 | 2003-08-22 | Sony Corp | Image processor and image processing method, recording medium, and its program |
| JP2003271045A (en) * | 2002-03-15 | 2003-09-25 | Sony Corp | Apparatus and method for image processing, apparatus and method for manufacturing printed matter, and printed matter making system |
| JP2005323252A (en) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | Image encoding device and image decoding device |
| WO2006072993A1 (en) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | Compression/encoding device, decompression/decoding device |
| WO2006072992A1 (en) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | Compression/encoding device, decompression/decoding device |
| KR100926607B1 (en) * | 2005-01-07 | 2009-11-11 | 후지쯔 가부시끼가이샤 | Compression/encoding device, decompression/decoding device |
| KR100926608B1 (en) * | 2005-01-07 | 2009-11-11 | 후지쯔 가부시끼가이샤 | Compression/encoding device, decompression/decoding device |
| JP2010004465A (en) * | 2008-06-23 | 2010-01-07 | Fujinon Corp | Stereoscopic image photographing system |
| JP2010516158A (en) * | 2007-01-11 | 2010-05-13 | サムスン エレクトロニクス カンパニー リミテッド | Multi-view video encoding and decoding method and apparatus |
-
1992
- 1992-09-30 JP JP26174892A patent/JP3080487B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003003308A1 (en) * | 2001-06-27 | 2003-01-09 | Sony Corporation | Communication apparatus and method |
| JP2003016455A (en) * | 2001-06-27 | 2003-01-17 | Sony Corp | Device and method for communications, communication system, recording medium, and program |
| WO2003003307A1 (en) * | 2001-06-27 | 2003-01-09 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| US8164638B2 (en) | 2001-06-27 | 2012-04-24 | Sony Corporation | Communication system and method thereof |
| JP4596227B2 (en) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | COMMUNICATION DEVICE AND METHOD, COMMUNICATION SYSTEM, RECORDING MEDIUM, AND PROGRAM |
| US7181080B2 (en) | 2001-06-27 | 2007-02-20 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| US7619655B2 (en) | 2001-06-27 | 2009-11-17 | Sony Corporation | Communication apparatus and method |
| JP2003233817A (en) * | 2002-02-08 | 2003-08-22 | Sony Corp | Image processor and image processing method, recording medium, and its program |
| US7565003B2 (en) | 2002-03-15 | 2009-07-21 | Sony Corporation | Image processing apparatus and method, printed matter production apparatus and method, and printed matter production system |
| JP2003271045A (en) * | 2002-03-15 | 2003-09-25 | Sony Corp | Apparatus and method for image processing, apparatus and method for manufacturing printed matter, and printed matter making system |
| JP2005323252A (en) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | Image encoding device and image decoding device |
| KR100926607B1 (en) * | 2005-01-07 | 2009-11-11 | 후지쯔 가부시끼가이샤 | Compression/encoding device, decompression/decoding device |
| KR100926608B1 (en) * | 2005-01-07 | 2009-11-11 | 후지쯔 가부시끼가이샤 | Compression/encoding device, decompression/decoding device |
| JPWO2006072992A1 (en) * | 2005-01-07 | 2008-06-12 | 富士通株式会社 | Compression encoding device, decompression decoding device |
| WO2006072992A1 (en) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | Compression/encoding device, decompression/decoding device |
| JP4893311B2 (en) * | 2005-01-07 | 2012-03-07 | 富士通株式会社 | Compression encoding device, decompression decoding device |
| WO2006072993A1 (en) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | Compression/encoding device, decompression/decoding device |
| US8606024B2 (en) | 2005-01-07 | 2013-12-10 | Fujitsu Limited | Compression-coding device and decompression-decoding device |
| JP2010516158A (en) * | 2007-01-11 | 2010-05-13 | サムスン エレクトロニクス カンパニー リミテッド | Multi-view video encoding and decoding method and apparatus |
| JP2010004465A (en) * | 2008-06-23 | 2010-01-07 | Fujinon Corp | Stereoscopic image photographing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3080487B2 (en) | 2000-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100350191B1 (en) | How to convert 2D image to 3D image | |
| JP5414947B2 (en) | Stereo camera | |
| US9525858B2 (en) | Depth or disparity map upscaling | |
| US6163337A (en) | Multi-view point image transmission method and multi-view point image display method | |
| US8588515B2 (en) | Method and apparatus for improving quality of depth image | |
| CN101682794B (en) | Method, apparatus and system for processing depth-related information | |
| KR100345630B1 (en) | How to determine the positional relationship between subjects and how to convert 2D images to 3D images | |
| US20130050564A1 (en) | Producing focused videos from single captured video | |
| US20130250053A1 (en) | System and method for real time 2d to 3d conversion of video in a digital camera | |
| JP3080487B2 (en) | Motion compensation prediction method for multi-view stereoscopic video | |
| JP2020506484A (en) | Method and apparatus for processing image property maps | |
| JPS61269475A (en) | Detection system for dynamic vector | |
| KR20110113924A (en) | Image converting device and three dimensional image display device including the same | |
| JPH1032840A (en) | Multi-viewpoint image transmission and display method | |
| WO2014136144A1 (en) | Image display device and image display method | |
| JP6128748B2 (en) | Image processing apparatus and method | |
| US8675080B2 (en) | Motion estimation in imaging systems | |
| JP3733359B2 (en) | Disparity estimation method, image transmission method, image display method, multi-view image transmission method, multi-view image restoration method, and disparity estimation apparatus | |
| JP5347987B2 (en) | Video processing device | |
| JPH06269025A (en) | Coding system for multi-eye stereoscopic video image | |
| KR100489894B1 (en) | Apparatus and its method for virtual conrtol baseline stretch of binocular stereo images | |
| KR100322727B1 (en) | Method and system for converting two-dimensional/stereo images | |
| JP3580450B2 (en) | Stereoscopic device and stereoscopic method | |
| JPH08289330A (en) | Three-dimensional video conversion method | |
| JP3469883B2 (en) | Observer head position detecting device and stereoscopic video display device using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000606 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |