JP2613922B2 - Motion compensation method - Google Patents
Motion compensation methodInfo
- Publication number
- JP2613922B2 JP2613922B2 JP20106388A JP20106388A JP2613922B2 JP 2613922 B2 JP2613922 B2 JP 2613922B2 JP 20106388 A JP20106388 A JP 20106388A JP 20106388 A JP20106388 A JP 20106388A JP 2613922 B2 JP2613922 B2 JP 2613922B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- frame memory
- motion compensation
- motion vector
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 （１）発明の属する技術分野 本発明は，動画像を高能率符号化するための一手段で
ある所の動き補償方法に関するものである。Description: BACKGROUND OF THE INVENTION (1) Technical Field to which the Invention pertains The present invention relates to a motion compensation method, which is one means for highly efficient coding of a moving image.
（２）従来の技術 従来行われていた動き補償は,1台のカメラより入力し
た画像のみを用いて行われていた。また従来の両眼視差
符号化においても，左右カメラの画像について動き補償
を行う場合に，左カメラは左フレームメモリのみを，右
カメラは右フレームメモリのみを用いていた。すなわ
ち,3次元空間上の動きを２次元平面に投影して動き補償
を行っていたため３次元空間を回転するような動きに対
しては動きベクトルが検出できなくなるという欠点を有
していた。(2) Conventional Techniques Conventionally, motion compensation has been performed using only an image input from one camera. Also, in the conventional binocular disparity coding, when performing motion compensation on the images of the left and right cameras, the left camera uses only the left frame memory, and the right camera uses only the right frame memory. That is, since motion compensation is performed by projecting a motion in a three-dimensional space onto a two-dimensional plane, there is a disadvantage that a motion vector cannot be detected for a motion rotating in a three-dimensional space.
（３）発明の目的 本発明の目的は，複数台のテレビカメラを用いて，よ
り予測効率の高い動き補償方法を提案することにある。(3) Object of the Invention It is an object of the present invention to propose a motion compensation method with higher prediction efficiency using a plurality of television cameras.
（４）発明の構成 （４−１）発明の特徴と従来技術との差異 本願の第１の発明においては,2台のテレビカメラ（主
カメラ，従カメラ）を用いて，主カメラで撮像した画像
を符号化，伝送し，従カメラは主カメラ画像とともに動
き補償を行うために補助的に使用するようにしている。
即ちまず主カメラから入力した現フレームをブロックに
分割し，これらの各ブロックに最も近似のブロックを前
フレームの各ブロック近傍から検出することにより，こ
れらの最近似ブロックに対する評価値（EVm）および最
適動きベクトル（Vm）を決定する。次に分割した各ブロ
ックを幾何学的に従カメラの画像に変換したそのブロッ
クに最も近似のブロックを従カメラから入力された前フ
レームから検出し，これらの最近似ブロックに対する評
価値（EVs）および最適動きベクトル（Vs）を決定す
る。次に,EVmとEVsとを比較し， EVm≦EVs であればVmを最適動きベクトルとし， EVm＞EVs であればVsを主カメラ上の動きベクトルに変換したもの
を最適動きベクトルとする。従来技術では最適動きベク
トルを常にVmとしていたのに対して第１の発明は２台の
カメラを用いて，これらのカメラから入力した２つの画
像を用いて最適動きベクトルを検出する点が異なる。(4) Configuration of the invention (4-1) Difference between the features of the invention and the prior art In the first invention of the present application, two television cameras (master camera and slave camera) were used to capture images with the master camera. The image is encoded and transmitted, and the slave camera is used as an auxiliary to perform motion compensation together with the master camera image.
That is, first, the current frame input from the main camera is divided into blocks, and the blocks closest to these blocks are detected from the vicinity of each block in the previous frame, so that the evaluation value (EVm) and the optimal Determine the motion vector (Vm). Next, each of the divided blocks is geometrically converted to an image of a camera according to the camera, and the block that is the closest to the block is detected from the previous frame input from the slave camera, and the evaluation values (EVs) and EVs for these closest blocks are detected. Determine the optimal motion vector (Vs). Next, EVm and EVs are compared, and if EVm ≦ EVs, Vm is set as the optimal motion vector, and if EVm> EVs, Vs is converted to the motion vector on the main camera as the optimal motion vector. In the prior art, the optimal motion vector is always set to Vm, whereas the first invention is different in that the optimal motion vector is detected using two cameras and two images input from these cameras.
第２の発明においては，主カメラおよび２台の従カメ
ラの計３台のカメラを用いて，主カメラの画像を符号
化，伝送し，従カメラ２台の画像は主カメラ画像ととも
に動き補償を行うために補助的に使用する際，主カメラ
および従カメラ２台の計３枚の前フレームメモリを用い
て動き補償を行って動きベクトルを検出し，その評価値
が最も低い動きベクトルを最適動きベクトルとする方法
であり，従来技術の,1台のカメラの画像のみを用いて動
き補償を行っていた点が異なる。In the second invention, the image of the master camera is encoded and transmitted using a total of three cameras, the master camera and two slave cameras, and the images of the two slave cameras are subjected to motion compensation together with the master camera image. When auxiliary is used to perform motion compensation, motion compensation is performed using a total of three previous frame memories of the main camera and two slave cameras to detect motion vectors, and the motion vector with the lowest evaluation value is determined as the optimal motion. This method is a vector method, and differs from the prior art in that motion compensation is performed using only the image of one camera.
第３の発明においては,2台のテレビカメラ（左カメ
ラ，右カメラ）を用いて，これらのカメラで撮像した画
像を独立に符号化，伝送する際，まず左カメラから入力
した現フレームをブロックに分割し，これらの各ブロッ
クに最も近似のブロックを前フレームメモリ内の，現フ
レームメモリ内と同じ位置近傍から検出することによ
り，これらの最近似ブロックに対する評価値（EVl）お
よび最適動きベクトル（Vl）を決定する。次に分割した
各ブロックを右カメラから入力されている前フレームメ
モリ内の，現フレームメモリ内と動じ位置近傍から検出
し，これらの最近似ブロックに対する評価値（EVr）お
よび最適動きベクトル（Vr）を決定する。次に,EVlとEV
rとを比較し， EVl≦EVr であればVlを最適動きベクトルとし， EVl＞EVr であればVrを左カメラの最適動きベクトルとする。右カ
メラについても同様に左右カメラの前フレームメモリの
対応する位置近傍から動きベクトルを検出し，評価値の
低い方の動きベクトルを右カメラの最適動きベクトルと
する方法であり，従来技術の左カメラは左フレームメモ
リのみを，右カメラは右フレームメモリのみを用いて動
き補償を行っていた点が異なる。In the third invention, when two television cameras (left camera and right camera) are used to independently encode and transmit images captured by these cameras, the current frame input from the left camera is first blocked. , And the block closest to each of these blocks is detected from the vicinity of the same position in the previous frame memory as in the current frame memory, whereby the evaluation value (EVl) and the optimal motion vector (EV) for these closest blocks are detected. Vl) is determined. Next, each divided block is detected in the previous frame memory input from the right camera in the current frame memory and near the movement position, and the evaluation value (EVr) and the optimal motion vector (Vr) for these closest blocks are detected. To determine. Next, EVl and EV
Then, if EVl ≦ EVr, Vl is set as the optimal motion vector, and if EVl> EVr, Vr is set as the optimal motion vector of the left camera. Similarly, for the right camera, a motion vector is detected from the vicinity of the corresponding position in the previous frame memory of the left and right cameras, and the motion vector with the lower evaluation value is set as the optimal motion vector of the right camera. Is that the left camera uses only the left frame memory and the right camera uses only the right frame memory to perform motion compensation.
（４−２）実施例 〔実施例１〕 第１図は２台のカメラの幾何学モデルを示す。O1,O2
はそれぞれ主カメラ，従カメラの位置,wは主カメラと従
カメラ間の距離,L1,L2はそれぞれ主カメラ，従カメラか
ら撮像物Ｐまでの距離,f1,f2はそれぞれ主カメラ，従カ
メラの焦点距離，θ1,θ２はそれぞれ主カメラ，従カメ
ラのｘ軸方向への傾き角である。また,1は主カメラの光
軸,2は従カメラの光軸,3は主カメラの座標系,4は従カメ
ラの座標系である。主カメラと従カメラとで撮像物Ｐを
撮像した場合，主カメラ座標軸上では（xm1,ym1）に写
影され，従カメラ座標軸上では（xs1,ys1）に写影され
る。第１図よりxm1,xs1,ym1,ys1の関係はそれぞれ ys1＝ym1 ……（２） ym1＝ys1 ……（４） で表される。(4-2) Example [Example 1] Fig. 1 shows a geometric model of two cameras. O 1 , O 2
Is the position of the master camera and the slave camera, w is the distance between the master camera and the slave camera, L 1 and L 2 are the master camera, the distance from the slave camera to the object P, and f 1 and f 2 are the master cameras, respectively. the focal length of the slave camera, theta 1, theta 2 is the slope angle of each to the main camera, the slave camera x-axis direction. Also, 1 is the optical axis of the main camera, 2 is the optical axis of the slave camera, 3 is the coordinate system of the master camera, and 4 is the coordinate system of the slave camera. When the object P is imaged by the master camera and the slave camera, it is mapped to (x m1 , y m1 ) on the coordinate axis of the main camera, and is mapped to (x s1 , y s1 ) on the coordinate axis of the slave camera. From FIG. 1 , the relations of x m1 , x s1 , y m1 , and y s1 are respectively y s1 = y m1 ... (2) y m1 = y s1 ... (4)
第２図は第１の発明を実現するための実施例構成図で
あって,11は主カメラ現フレームメモリ,12は主カメラ前
フレームメモリ,13は従カメラ前フレームメモリ,14はブ
ロック変換回路,15は動き補償回路,16は評価値比較回
路,17はベクトル変換回路である。主カメラより入力さ
れた現フレームは主カメラ現フレームメモリ11に蓄積さ
れる。ここから動き補償を行おうとするブロックが選択
され動き補償回路15に送られる。動き補償回路15はこの
ブロックと最も近似のブロックとを主カメラ前フレーム
メモリ12から検出し，その際の評価値EVmと動きベクト
ルVmとを評価値比較回路16へ送る。次に，動き補償を行
おうとするブロックを主カメラ現フレームメモリ11から
ブロック変換回路14へ送り従カメラより見た画像に幾何
学的変換を行った後動き補償回路15へ送る。動き補償回
路15はこのブロックと最も近似のブロックとを従カメラ
前フレームメモリ13から検出し，その際の評価値EVsと
動きベクトルVsとを評価値比較回路16へ送る。評価値EV
s,EVmは次式により算出され，この値が小さいほど最適
な動きベクトルが検出できていることとなる。FIG. 2 is a block diagram of an embodiment for realizing the first invention, wherein 11 is a main camera current frame memory, 12 is a main camera preceding frame memory, 13 is a slave camera preceding frame memory, and 14 is a block conversion circuit. , 15 is a motion compensation circuit, 16 is an evaluation value comparison circuit, and 17 is a vector conversion circuit. The current frame input from the main camera is stored in the main camera current frame memory 11. From this, a block for which motion compensation is to be performed is selected and sent to the motion compensation circuit 15. The motion compensation circuit 15 detects this block and the closest block from the frame memory 12 before the main camera, and sends the evaluation value EVm and the motion vector Vm at that time to the evaluation value comparison circuit 16. Next, the block for which motion compensation is to be performed is sent from the main camera current frame memory 11 to the block conversion circuit 14, where the image as viewed from the slave camera is geometrically transformed, and then sent to the motion compensation circuit 15. The motion compensation circuit 15 detects this block and the closest block from the frame memory 13 before the slave camera, and sends the evaluation value EVs and the motion vector Vs at that time to the evaluation value comparison circuit 16. Evaluation value EV
s and EVm are calculated by the following equations. The smaller this value is, the more the optimum motion vector can be detected.
ただし,mは動き補償ブロックの画素数,VcとVfとはそ
れぞれ現フレームと前フレームとの動き補償ブロックの
画素値である。 Here, m is the number of pixels of the motion compensation block, and Vc and Vf are the pixel values of the motion compensation block of the current frame and the previous frame, respectively.
評価値比較回路16はEVsとEVmとを比較し， EVm≦EVs であればVmを動きベクトルとして出力する。 The evaluation value comparison circuit 16 compares EVs with EVm, and outputs Vm as a motion vector if EVm ≦ EVs.
EVm＞EVs であればVsをベクトル変換回路17へ送り，主カメラより
見た動きベクトルに変換して出力する。If EVm> EVs, Vs is sent to the vector conversion circuit 17, where it is converted into a motion vector viewed from the main camera and output.
第３図は主カメラおよび従カメラが撮像できる範囲を
示す図である。O1,O2はそれぞれ主カメラ，従カメラの
位置,wは主カメラと従カメラ間の距離，φ1,φ２はそれ
ぞれ主カメラ，従カメラの水平方向の画角,1は主カメラ
の光軸,2は従カメラの光軸，であり，図示符号５のよう
な平面の撮像対象物を仮定した場合,3′は主カメラの撮
像できる範囲,4′は従カメラの撮像できる範囲を示す。
２台のカメラで撮像する場合，同図に示すように主カメ
ラおよび従カメラが撮像できる範囲がずれるため，主カ
メラで撮像できて，従カメラで撮像できない範囲が存在
する。このような場合の撮像できない範囲の画像につい
ては主カメラの画像のみで動き補償を行うこととなる。FIG. 3 is a diagram showing a range in which a master camera and a slave camera can capture an image. O 1 and O 2 are the positions of the master and slave cameras, w is the distance between the master and slave cameras, φ 1 and φ 2 are the horizontal angles of view of the master and slave cameras, respectively, and 1 is the angle of the master camera. The optical axis, 2 is the optical axis of the slave camera, and assuming a plane imaging object as shown by reference numeral 5, 3 'is the range that the main camera can capture, and 4' is the range that the slave camera can capture. Show.
In the case of imaging with two cameras, as shown in the figure, the ranges that can be imaged by the main camera and the slave camera are different, so there is a range that can be imaged by the master camera and cannot be imaged by the slave camera. In such a case, the motion compensation is performed only on the image of the main camera with respect to the image in the non-capable range.
〔実施例２〕 第４図は主カメラと２台の従カメラとを用いて対象物
を撮像する際のモデルを示す。21は左従カメラ,22は左
従カメラ光軸,23は主カメラ,24は主カメラ光軸,25は右
従カメラ,26は右従カメラ光軸,27は対象物である。第５
図は第２の発明を実現するための実施例構成図であっ
て,31は左従カメラ前フレームメモリ,32は主カメラ現フ
レームメモリ,33は主カメラ前フレームメモリ,34は右従
カメラ前フレームメモリ,35は動き補償回路,36は評価値
比較回路である。主カメラ23より入力された現フレーム
は主カメラ現フレームメモリ32に蓄積される。また，主
カメラ23と左右従カメラ21,25とより入力された前フレ
ームはそれぞれ前フレームメモリ33,31,34に蓄積されて
いる。はじめに，現フレームメモリ32から動き補償を行
おうとするブロックが選択され動き補償回路35に送られ
る。動き補償回路35はこのブロックと最も近似のブロッ
クを現フレームメモリ32と同じ位置近傍の前フレームメ
モリ33,31,34からそれぞれ検出し，その際の評価値EVm,
EVl,EVrを次式により算出し，評価値比較回路36へ送
る。次に，評価値比較回路36においても最も低い評価値
の動きベクトルを最適動きベクトルとして出力する。Embodiment 2 FIG. 4 shows a model when an object is imaged using a master camera and two slave cameras. 21 is a left slave camera, 22 is a left slave camera optical axis, 23 is a main camera, 24 is a main camera optical axis, 25 is a right slave camera, 26 is a right slave camera optical axis, and 27 is an object. Fifth
The figure is a block diagram of an embodiment for realizing the second invention, 31 is a frame memory before the left slave camera, 32 is a current frame memory of the main camera, 33 is a frame memory before the main camera, and 34 is a frame memory before the right camera. A frame memory, 35 is a motion compensation circuit, and 36 is an evaluation value comparison circuit. The current frame input from the main camera 23 is stored in the main camera current frame memory 32. Previous frames input from the main camera 23 and the left and right slave cameras 21 and 25 are stored in previous frame memories 33, 31, and 34, respectively. First, a block for which motion compensation is to be performed is selected from the current frame memory 32 and sent to the motion compensation circuit 35. The motion compensation circuit 35 detects the block closest to this block from the previous frame memories 33, 31, and 34 near the same position as the current frame memory 32, and evaluates the value EVm,
EVl and EVr are calculated by the following equations and sent to the evaluation value comparison circuit 36. Next, the evaluation value comparison circuit 36 also outputs the motion vector having the lowest evaluation value as the optimal motion vector.
ただし,mは動き補償ブロックの画素数,VcとVfとはそ
れぞれ現フレームと前フレームとの動き補償ブロックの
画素値である。 Here, m is the number of pixels of the motion compensation block, and Vc and Vf are the pixel values of the motion compensation block of the current frame and the previous frame, respectively.
以上説明したように画像の同一の領域（ブロック）を
２枚の画像を用いて動き補償を行い評価値EVm,EVl,EVr
のうちの最も小さい動きベクトルを選択しているため，
その効果としてカメラ１台のみを用いて,1台のカメラの
現フレームメモリと，前フレームメモリとのみを用いて
動きベクトルを検出する従来技術に比べてより最適な動
きベクトルを検出することが可能となる。As described above, the same region (block) of an image is subjected to motion compensation using two images, and the evaluation values EVm, EVl, EVr
Since the smallest motion vector is selected,
As an effect, it is possible to detect a more optimal motion vector compared to the conventional technology in which only one camera is used and the motion vector is detected using only the current frame memory and the previous frame memory of one camera. Becomes
なお３台のカメラを用いた例を示したが,3台以上のカ
メラを用いて同じ手法で実施できる。ただし奇数台のカ
メラを用いる方が中央のカメラに対して左右対象に構成
できるため望ましい。Although an example using three cameras has been described, the same method can be used using three or more cameras. However, it is desirable to use an odd number of cameras because they can be configured symmetrically with respect to the center camera.
〔実施例３〕 第６図は左右２台のカメラを用いて対象物を撮影する
際のモデルを示す。41は左カメラ,42は左カメラ光軸,43
は右カメラ,44は右カメラ光軸,45は対象物である。第７
図は第３の発明を実現するための実施例構成図であっ
て,51は左カメラ現フレームメモリ,52は左カメラ前フレ
ームメモリ,53は右カメラ現フレームメモリ,54は右カメ
ラ前フレームメモリ,55は動き補償回路,56は評価値比較
回路である。左右カメラより入力された現フレームはそ
れぞれ現フレームメモリ51,53に蓄積される。また，左
右カメラより入力された前フレームはそれぞれ前フレー
ムメモリ52,54に蓄積されている。[Embodiment 3] Fig. 6 shows a model when an object is photographed using two cameras on the left and right. 41 is the left camera, 42 is the left camera optical axis, 43
Is a right camera, 44 is a right camera optical axis, and 45 is an object. Seventh
The figure is a block diagram of an embodiment for realizing the third invention, wherein 51 is a left camera current frame memory, 52 is a left camera previous frame memory, 53 is a right camera current frame memory, and 54 is a right camera previous frame memory. Reference numeral 55 denotes a motion compensation circuit, and reference numeral 56 denotes an evaluation value comparison circuit. Current frames input from the left and right cameras are stored in current frame memories 51 and 53, respectively. The previous frames input from the left and right cameras are stored in the previous frame memories 52 and 54, respectively.
はじめに，左カメラ画像から符号化する場合，現フレ
ームメモリ51から動き補償を行おうとするブロックが選
択され動き補償回路55に送られる。動き補償回路55はこ
のブロックと最も近似のブロックを前フレームメモリ52
から検出し，その際の評価値EVlと動きベクトルVlとを
評価値比較回路56へ送る。次に，現フレームメモリ53の
同じブロックと最も近似のブロックを前フレームメモリ
54から検出し，その際の評価値EVrと動きベクトルVrと
を評価値比較回路56へ送る。評価値EVl,EVrは次式によ
り算出され，この値が小さいほど最適な動きベクトルが
検出できていることとなる。First, when coding from the left camera image, a block for which motion compensation is to be performed is selected from the current frame memory 51 and sent to the motion compensation circuit 55. The motion compensation circuit 55 stores the block that is most similar to this block in the previous frame memory 52.
, And the evaluation value EVl and the motion vector Vl at that time are sent to the evaluation value comparison circuit 56. Next, the block closest to the same block in the current frame memory 53 is stored in the previous frame memory.
The evaluation value EVr and the motion vector Vr at that time are sent to an evaluation value comparison circuit 56. The evaluation values EVl and EVr are calculated by the following equations. The smaller this value is, the more the optimum motion vector can be detected.
ただし,mは動き補償ブロックの画素数,VcとVfとはそ
れぞれ現フレームと前フレームとの動き補償ブロックの
画素値である。 Here, m is the number of pixels of the motion compensation block, and Vc and Vf are the pixel values of the motion compensation block of the current frame and the previous frame, respectively.
評価値比較回路56はEVlとEVrとを比較し， EVl≦EVr であればVlを最適動きベクトルとして出力する。 The evaluation value comparison circuit 56 compares EVl with EVr, and outputs Vl as the optimal motion vector if EVl ≦ EVr.
EVl＞EVr であればVrを最適動きベクトルとして出力する。以上説
明したように画像の同一の領域（ブロック）を２枚の画
像を用いて動き補償を行い評価値の小さい方の動きベク
トルを選択しているため，その効果として，左カメラ画
像は左カメラフレームメモリのみから，右カメラ画像は
右カメラフレームメモリのみから動きベクトルを検出す
る従来技術に比べてより最適な動きベクトルを検出する
ことが可能となる。If EVl> EVr, Vr is output as the optimal motion vector. As described above, since the same area (block) of an image is subjected to motion compensation using two images and a motion vector having a smaller evaluation value is selected, the effect of the left camera image is that From the frame memory alone, it is possible to detect a more optimal motion vector for the right camera image as compared with the related art in which a motion vector is detected only from the right camera frame memory.
（５）発明の効果 以上説明したように，本発明によれば,1つのカメラで
撮像した画像の各ブロックに対して当該カメラで撮像し
た画像および他カメラで撮像した画像を用いて動き補償
を行い，評価値の最も低い方の動きベクトルを最適動き
ベクトルとするため，より正確な動きベクトルを選択で
きる利点がある。(5) Effects of the Invention As described above, according to the present invention, motion compensation is performed on each block of an image captured by one camera by using an image captured by the camera and an image captured by another camera. Since the motion vector having the lowest evaluation value is set as the optimal motion vector, there is an advantage that a more accurate motion vector can be selected.
【図面の簡単な説明】 第１図は主カメラおよび従カメラの幾何学的関係を示す
図，第２図は第１の発明を実現するための実施例構成
図，第３図は主カメラおよび従カメラが撮像できる範囲
を示す図，第４図は主カメラと２台の従カメラとを用い
て対象物を撮像する際のモデル，第５図は第２の発明を
実現するための実施例構成図，第６図は左右２台のカメ
ラを用いて対象物を撮像する際のモデル，第７図は第３
の発明を実現するための実施例構成図である。 １……主カメラの光軸,2……従カメラの光軸,3……主カ
メラの座標系,4……従カメラの座標系,11……主カメラ
現フレームメモリ,12……主カメラ前フレームメモリ,13
……従カメラ前フレームメモリ,14……ブロック変換回
路,15……動き補償回路,16……評価値比較回路,17……
ベクトル変換回路,21……左従カメラ,22……左従カメラ
光軸,23……主カメラ,24……主カメラ光軸,25……右従
カメラ,26……右従カメラ光軸,27……対象物,31……左
従カメラ前フレームメモリ,32……主カメラ現フレーム
メモリ,33……主カメラ前フレームメモリ,34……右従カ
メラ前フレームメモリ,35……動き補償回路,36……評価
値比較回路,41……左カメラ,42……左カメラ光軸,43…
…右カメラ,44……右カメラ光軸,45……対象物,51……
左カメラ現フレームメモリ,52……左カメラ前フレーム
メモリ,53……右カメラ現フレームメモリ,54……右カメ
ラ前フレームメモリ,55……動き補償回路,56……評価値
比較回路。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram showing a geometric relationship between a master camera and a slave camera, FIG. 2 is a diagram showing an embodiment for realizing the first invention, and FIG. FIG. 4 shows a range in which a slave camera can capture an image. FIG. 4 shows a model for capturing an image of an object using a master camera and two slave cameras. FIG. 5 shows an embodiment for realizing the second invention. FIG. 6 is a model when an object is imaged using two left and right cameras, and FIG.
FIG. 2 is a configuration diagram of an embodiment for realizing the invention of FIG. 1 ... optical axis of main camera, 2 ... optical axis of slave camera, 3 ... coordinate system of main camera, 4 ... coordinate system of slave camera, 11 ... current frame memory of main camera, 12 ... main camera Previous frame memory, 13
…… Frame memory before slave camera, 14 …… Block conversion circuit, 15 …… Motion compensation circuit, 16 …… Evaluation value comparison circuit, 17 ……
Vector conversion circuit, 21 …… left slave camera, 22 …… left slave camera optical axis, 23 …… main camera, 24 …… main camera optical axis, 25 …… right slave camera, 26 …… right slave camera optical axis, 27 …… Target object, 31 …… Frame memory before left slave camera, 32 …… Current frame memory of main camera, 33 …… Frame memory before main camera, 34 …… Frame memory before right slave camera, 35 …… Motion compensation circuit , 36 …… Evaluation value comparison circuit, 41 …… Left camera, 42 …… Left camera optical axis, 43…
… Right camera, 44 …… Right camera optical axis, 45 …… Object, 51 ……
Left camera current frame memory, 52: Left camera previous frame memory, 53: Right camera current frame memory, 54: Right camera previous frame memory, 55: Motion compensation circuit, 56: Evaluation value comparison circuit.
Claims (3)
な間隔で設置し，主カメラの画像を符号化する際に動き
補償を行う方法であって，主カメラ側には現フレームメ
モリと前フレームメモリとの２枚のフレームメモリを持
ち，従カメラ側には前フレームメモリ１枚を持ち，主カ
メラの現フレームメモリ内のいくつかの画素をまとめた
ブロックと最も近似のブロックを主カメラの前フレーム
メモリ内および従カメラの前フレームメモリ内からそれ
ぞれ求め，現フレームメモリ内の該当ブロックとの位置
の差から求めたそれぞれの動きベクトルの評価値のう
ち，評価値の低い方の動きベクトルを最適ベクトルとす
ることを特徴とした動き補償方法。1. A method in which a master camera and a slave camera are installed at appropriate intervals in the horizontal direction and motion compensation is performed when an image of the master camera is encoded. It has two frame memories, a frame memory and a previous frame memory on the slave camera side. The motion vector having the lower evaluation value among the motion vector evaluation values obtained from the previous frame memory and the previous camera's previous frame memory and the motion vector obtained from the position difference from the corresponding block in the current frame memory is determined. A motion compensation method characterized by using an optimal vector.
に適当な間隔で設置し，主カメラの画像を符号化する際
に動き補償を行う方法であって，主カメラ側には現フレ
ームメモリと前フレームメモリとの２枚のフレームメモ
リを持ち，従カメラ２台側にはそれぞれ前フレームメモ
リ１枚を持ち，主カメラの現フレームメモリ内のいくつ
かの画素をまとめたブロックと最も近似のブロックを主
カメラの前フレームメモリ内および２枚の従カメラの前
フレームメモリ内からそれぞれ求め，現フレームメモリ
内の該当ブロックとの位置の差から求めたそれぞれの動
きベクトルの評価値のうち，最も評価値の低い動きベク
トルを最適動きベクトルとすることを特徴とした動き補
償方法。2. A method of arranging a master camera and two slave cameras at appropriate intervals in the horizontal direction and performing motion compensation when encoding an image of the master camera. It has two frame memories, a memory and a previous frame memory. Each of the two slave cameras has one previous frame memory, and is the closest approximation to a block that combines several pixels in the current frame memory of the main camera. Are obtained from the previous frame memory of the main camera and from the previous frame memories of the two slave cameras, respectively. Of the evaluation values of the respective motion vectors obtained from the position difference from the corresponding block in the current frame memory, A motion compensation method characterized by using a motion vector having the lowest evaluation value as an optimal motion vector.
用いて入力した２枚の画像を符号化する際に行う動き補
償であって，左右それぞれのカメラ側に現フレームメモ
リと前フレームメモリとを持ち，一方のカメラの画像に
ついて動き補償を行う際に，当該カメラの現フレームメ
モリ内のいくつかの画素をまとめたブロックと最も近似
のブロックを当該カメラおよび他方のカメラの前フレー
ムメモリ内からそれぞれ求め，現フレームメモリ内の該
当ブロックとの位置の差から求めたそれぞれの動きベク
トルの評価値のうち低い方の動きベクトルを当該カメラ
の画像の最適ベクトルとし，他方のカメラ画像について
も同様な補償をすることを特徴とした動き補償方法。3. A motion compensator for encoding two images input using two cameras, a left camera and a right camera, wherein a current frame memory and a previous frame memory are provided on the left and right camera sides. When performing motion compensation on the image of one camera, the block that approximates some pixels in the current frame memory of the camera and the block that is the most similar are stored in the previous frame memory of the camera and the other camera. From the evaluation value of each motion vector obtained from the position difference from the corresponding block in the current frame memory, the lower motion vector is determined as the optimal vector of the image of the camera, and the same applies to the other camera image. A motion compensation method characterized by performing various compensations.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20106388A JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20106388A JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0250689A JPH0250689A (en) | 1990-02-20 |
| JP2613922B2 true JP2613922B2 (en) | 1997-05-28 |
Family
ID=16434768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20106388A Expired - Fee Related JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2613922B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3931392B2 (en) * | 1997-08-25 | 2007-06-13 | ソニー株式会社 | Stereo image video signal generating device, stereo image video signal transmitting device, and stereo image video signal receiving device |
| KR100584603B1 (en) * | 2004-08-03 | 2006-05-30 | 학교법인 대양학원 | Direct mode motion prediction method and apparatus for multi-view video |
| JP6046923B2 (en) * | 2012-06-07 | 2016-12-21 | キヤノン株式会社 | Image coding apparatus, image coding method, and program |
| JP6457248B2 (en) * | 2014-11-17 | 2019-01-23 | 株式会社東芝 | Image decoding apparatus, image encoding apparatus, and image decoding method |
-
1988
- 1988-08-12 JP JP20106388A patent/JP2613922B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0250689A (en) | 1990-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5973726A (en) | Panoramic image processing apparatus | |
| WO2013099169A1 (en) | Stereo photography device | |
| US6236748B1 (en) | Compound eye image pickup device utilizing plural image sensors and plural lenses | |
| US6608622B1 (en) | Multi-viewpoint image processing method and apparatus | |
| CN104685860A (en) | Generating images from light fields utilizing virtual viewpoints | |
| JPH07262381A (en) | Estimation method of image motion by block matching | |
| US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
| WO2013108339A1 (en) | Stereo imaging device | |
| WO2010061956A1 (en) | Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus | |
| WO2003087929A1 (en) | A digital imaging system | |
| US11490067B2 (en) | Multi-aperture ranging devices and methods | |
| KR20100008677A (en) | Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same | |
| JP3194258B2 (en) | Image coding method | |
| JP2613922B2 (en) | Motion compensation method | |
| CN108765292A (en) | Image split-joint method based on the fitting of space triangular dough sheet | |
| JP2001516185A (en) | Motion estimation method and apparatus employing subsampling technique | |
| JP2664955B2 (en) | Stereo image coding method | |
| JP2974500B2 (en) | Compound eye imaging device | |
| CN110798674B (en) | Image depth value acquisition method, device, equipment, coder-decoder and storage medium | |
| Grammalidis et al. | Disparity and occlusion estimation for multiview image sequences using dynamic programming | |
| JP3279354B2 (en) | Motion compensation prediction method for 3D volume data | |
| JP2004102323A (en) | Image processing device and method | |
| Avidan et al. | Unifying two-view and three-view geometry | |
| US20230379445A1 (en) | Image processing device, moving apparatus, image processing method, and storage medium | |
| JPH09231371A (en) | Picture information input device and its method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |