JP3194258B2 - 画像の符号化方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視点が少しずつ異なる
複数台のカメラで撮影して得られた複数の画像の符号化
方式に関するものである。

【０００２】

【従来の技術】従来の技術では、１台のカメラで撮影さ
れた画像を符号化するか、あるいは複数台のカメラで撮
影して得られた複数の画像のうち何れか１つを選択して
符号化することが一般的であった。１台カメラのみ用い
ている場合に符号化する被写体を変えたり画像の一部分
を拡大する為にはパンニングやズーミングなどのカメラ
操作を送信側でおこなっていた。また複数台のカメラを
用いている場合には、送信側あるいは受信側の意図に応
じて符合化装置に供給する画像を切り替えていた。さら
に複数の画像を同時に符号化する場合には、各画像を別
々に独立した符号化装置で処理していた。

【０００３】

【発明が解決しようとする課題】テレビ会議システムな
どで画像を符号化して伝送する場合に、１台のカメラで
はカバーしきれない広い被写体範囲を同時に符号化した
い場合がある。この場合は図４（ａ）に示すように送信
側で視点位置あるいは視線方向の少しずつ異なる複数台
のカメラで撮影して複数の画像を得て、これらを全て符
号化すればよい。受信側では必要に応じてこれら複数の
画像を同時あるいは選択して復号し表示することができ
る。この様にすることで伝送する画像を切り替えるため
に従来行ってきたカメラの切り替えやズーミング・パン
ニング等のカメラ操作に伴う煩わしさを回避することが
できる。また図４（ｂ）に示すように同一被写体を異な
る視点から同時に撮影して得た複数の画像を符号化すれ
ば、受信側では各観察者が自分専用のモニタに自分の視
線方向に近い画像を選択して表示することが可能とな
る。これにより送信側の被写***置と受信側での観察者
の視線方向を考慮した、より自然で臨場感のある画像通
信を実現することがてきる。

【０００４】以上のような視点の異なる複数台のカメラ
で撮影して得られた複数の画像を符号化する場合に、従
来の符号化方式では各画像を別々に独立して処理し、画
像間に存在する相関を利用していないため、符号化する
画像の数が増加するのに比例して全体での符号量が増大
していた。従って通信コストが増大したり、あるいは通
信回線容量の制約から同時に伝送できる画像の数を制限
しなければならない等の問題があった。

【０００５】本発明の目的は、視点が少しずつ異なる複
数台のカメラで撮影して得られた複数の画像を符号化す
るに際して、これら画像間に存在する相関を利用するこ
とで全体としての符号量を削減した画像の符号化方式を
提供することにある。

【０００６】

【課題を解決するための手段】本発明の第１の画像の符
号化方式は、視点の少しずつ異なる複数台のカメラで撮
影して得られた複数の入力画像を符号化するにおいて、
前記複数の入力画像から１つ選択された代表画像に対し
ては該画像の符号化信号と局所再生画像とを生成する手
段と、その他の複数の入力画像に対しては各入力画像毎
に前記代表画像を参照画像としたときに視差により生じ
た入力画像の変位を記述する視差パラメータを検出し、
前記視差パラメータを用いて前記局所再生画像から予測
画像を生成し、入力画像と前記予測画像との差分信号を
検出して、前記差分信号と前記視差パラメータとを符号
化する手段とを備えることを特徴とする。

【０００７】本発明の第２の画像の符号化方式は、前記
視差パラメータの検出において、入力画像の画素毎ある
いは複数画素からなる小ブロック毎に参照画像上での対
応する位置を検出してその座標位置の差分を視差ベクト
ルとし、前記視差ベクトルから最小２乗誤差法を用いて
視差パラメータを推定することを特徴とする。

【０００８】本発明の第３の画像の符号化方式は、前記
視差パラメータの検出および前記視差パラメータを用い
た予測画像の生成において、入力画像がカメラとの距離
が異なる複数の被写体領域で構成される場合に、画素毎
または複数画素からなる小ブロック毎に視差ベクトルを
検出する手段と、前記視差ベクトルを用いて画像領域全
体を複数の領域に分割する手段と、前記分割された領域
毎に前記視差ベクトルから視差パラメータを推定する手
段と、前記分割された領域毎に前記検出された視差パラ
メータを用いて前記局所再生画像から予測画像を生成す
る手段とを備えることを特徴とする。

【０００９】

【作用】本発明の第１の画像の符号化方式を図１を用い
て説明する。図１のブロック図では入力画像が１０１，
１０２，１０３の３つである場合を示したが、入力画像
が更に増えた場合には入力画像１０２または１０３に対
してと同様な処理を行うブロックを増設するだけでよ
い。まず複数の入力画像の中から代表画像として１０１
を選択したとする。入力画像１０１は動き補償フレーム
間予測符号化方式などの方法により符号化回路１１で符
号化され、受信側では復号化回路１６で再生画像１１０
に復号化される。同時に符号化回路１１は再生画像１１
０と同じ画像である局所再生画像１０５を生成して出力
する。

【００１０】一方、その他の入力画像１０２、１０３は
各入力画像毎に前記代表画像１０１を参照画像とした場
合の画像間の相関を利用した符号化を行う。まず入力画
像１０２の符号化に際しては、視差パラメータ検出回路
１２で入力画像１０２と参照画像１０１とから２つの画
像間の変位量を記述する視差パラメータ１０６を検出す
る。この視差パラメータ検出回路１２の作用を以下に説
明する。入力画像１０２と視点のわずかに異なるカメラ
で撮影された参照画像１０１との間では被写体とカメラ
との位置関係が異なるため、２つの画像間で対応する画
素の座標位置が異なる。この座標位置の変位量は入力画
像１０２上の位置の関数として記述することが可能であ
る。この関数の一例として、被写体全体を２次元平面で
近似できる場合には、前記２つの画像間で対応する画素
の座標位置の変位量を示すベクトル（ｖ_x ，ｖ_y ）は式
（１）（２）の形で記述できる。 ｖ_x ＝ａｘ＋ｂｙ＋（ｇｘ＋ｈｙ）ｘ＋ｅ （１） ｖ_y ＝ｃｘ＋ｄｙ＋（ｇｘ＋ｈｙ）ｙ＋ｆ （２）

【００１１】式（１）（２）で（ｖ_x ，ｖ_y ）は入力画
像１０２上の位置（ｘ，ｙ）におけるｘ軸（水平）方向
とｙ軸（垂直）方向の各々の変位量を示す。これを視差
ベクトルとよぶことにする。また式（１）（２）を特徴
付ける８つの係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）
を視差パラメータとよぶことにする。図５は式（１）
（２）で記述される視差ベクトルと視差パラメータとの
関係を具体的な例により説明するものであり、被写体２
次元平面のｙ（垂直）軸がカメラの光軸に直角である場
合について示している。図５（ａ）は入力画像１０２で
の視点位置が参照画像１０１のものより左に平行移動し
た場合で、視差ベクトルは全て右向きで同じ大きさにな
ることを示しているる。ただし、斜線部は視点位置の変
化により入力画像１０２上に新たに現れた画像部分で、
参照画像１０１との間に相関が無いため視差ベクトルは
検出できない。図５（ａ）の様な視差ベクトルに対して
は、式（１）（２）で有効な視差パラメータはｅのみで
ある。図５（ｂ）は入力画像１０２の視線方向が参照画
像１０１の場合より被写体に対して斜めになった場合
で、視差ベクトルから画像が扇状変位していることがわ
かる。この場合には視差パラメータｇが有効である。さ
らに図５（ｃ）は入力画像１０２の視点位置が参照画像
１０１の場合より被写体へ近づいた場合かあるいはズー
ミング操作をおこなった場合で、視差ベクトルは放射状
に検出される。この場合に有効な視差パラメータはａ，
ｄである。その他にもカメラが光軸周りに回転した場合
にはパラメータｂ，ｃが有効であり、カメラのチルトや
上下動がある場合にはパラメータｈ，ｆが有効となる。
すなわち式（１）（２）はさまざまな視点位置の変化に
伴う画像上の座標位置の変位量を記述できることがわか
る。なお式（１）（２）は被写体全体を２次元平面で近
似した場合の関数であるが被写体全体が曲面に近似され
る場合には座標位置（ｘ，ｙ）に関するより高次な関数
を用いればよい。また図１の視差パラメータ検出回路１
２では正確な視差検出のために入力画像１０１を参照画
像として用いたが、前記局所再生画像１０５を参照画像
として用いることも可能である。

【００１２】次に図１において予測画像生成回路１３で
は前記検出された視差パラメータ１０６を用いて局所再
生画像１０５から入力画像１０２に対する予測画像１０
７を生成する。検出された視差パラメータを式（１）
（２）に代入すれば画像間で対応する画素の位置の変位
量を計算で求めることが可能である。そこで入力画像１
０２の画素毎に前記変位量の補償をおこなった座標位置
を求め、局所再生画像１０５の該当座標位置から画素の
値を読み出して予測値とすることで予測画像１０７を生
成する。さらに減算器１４でこの予測画像１０７と入力
画像１０２との差分をとって予測差分画像１０８として
出力する。

【００１３】符号化回路１５では予測差分画像１０８と
視差パラメータ１０６とを符号化して伝送し、受信側の
復号化回路１７では再生差分画像１１１と視差パラメー
タ１１２に復号化する。予測画像生成回路１８では視差
パラメータ１１２を用いて再生画像１１０から予測画像
１１３を生成し、加算器１９で予測画像１１３に再生差
分画像１１１を加算することで再生画像１１４を出力す
る。

【００１４】以上に説明した画像の符号化方式では、代
表画像として選択した入力画像１０１は従来方式と同様
に符号化されるが、第２の入力画像１０２は入力画像１
０１との間に存在する相関を差し引いた成分のみ符号化
されるため、全体としての伝送符号量を削減することが
可能となる。また第３番目の入力画像１０３に対しても
入力画像１０２と同様な方法を用いることで、入力画像
１０１との相関を差し引いた効率的な符号化を実現する
ことが可能である。

【００１５】本発明の第２の方式は、入力画像の画素毎
あるいは小ブロック毎に参照画像との座標位置の変位量
を示す視差ベクトルを検出して、前記視差ベクトルの最
小２乗誤差法を用いて画像全体における前記変位量を記
述する関数を特徴付ける視差パラメータを推定する方式
である。本発明では被写体全体が２次元平面で近似でき
るとし、前記関数が式（１）（２）で記述できる場合を
対象とする。この視差パラメータ推定方式の原理を図２
を用いて説明する。まず視差ベクトル検出回路２１に参
照画像２０１と入力画像２０２が供給される。ここで参
照画像２０１としては図１に示したように代表画像に選
択された入力画像１０１を用いてもよいし、あるいは入
力画像１０１を符号復号化した局所再生画像１０５を用
いてもよい。視差ベクトル検出回路２１では入力画像２
０２の画素毎あるいは小ブロック毎に、参照画像２０１
上での対応座標位置を検出してその座標位置の変位量を
該画素あるいは該小ブロックの視差ベクトルと定義す
る。前記変位量の検出はブロックマッチング法や輝度勾
配法などにより実現できる。画素あるいは小ブロック毎
に検出された視差ベクトル（ｖ_x ，ｖ_y ）の値２０３は
該画素あるいは該小ブロックの座標位置（ｘ，ｙ）の値
２０４とともに視差パラメータ推定回路２２に供給され
る。

【００１６】次に視差パラメータ推定回路２２では入力
画像２０２内で多数検出された視差ベクトル（ｖⁱ _x ，
ｖⁱ _y ）の値２０３とその座標位置（ｘⁱ ，ｙⁱ ）の値
２０４とを用いた式（１）（２）に関する最小２乗誤差
法をおこなって、視差パラメータ（ａ，ｂ，ｃ，ｄ，
ｅ，ｆ，ｇ，ｈ）の値２０５を推定する。いまＮ個の実
測値ｖⁱ _x ，ｖⁱ _y ，ｘⁱ ，ｙⁱ に対して式（１）
（２）の視差パラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，
ｇ，ｈ）を仮定した場合に、ｖ_x ，ｖ_y の実測値との平
均２乗誤差ＭＳＥは式（３）（４）で与えられる。

【数１】

【００１７】ここで式（３）（４）をパラメータａ，
ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈそれぞれで微分してその結
果を０に等しいとおけば平均２乗誤差ＭＳＥを最小にす
るパラメータの値が求められる。以上に説明した方法を
用いれば、入力画像と参照画像のみから簡単な方法で画
像間の変位を記述する視差パラメータを知ることが可能
となる。また視点位置や視線方向の変動などがある程度
わかっていれば、検出される視差パラメータも限定され
るので検出のための計算を省略することが可能である。
図５に示したように被写体２次元平面のｙ（垂直）軸が
カメラ光軸に直角な場合で、かつカメラ光軸周りの回転
が無視できるならば式（３）（４）におけるパラメータ
ｂ，ｃ，ｈを全て０として簡略化することがてきる。な
お図５に示すような視差ベクトルから視差パラメータを
推定する場合に、図５（ａ）（ｂ）の斜線部は画像間に
相関が無い部分なのでパラメータ推定の計算には用いな
い。前記斜線部分はブロックマッチングにより視差ベク
トルを検出した際に、画像間の相関が無いためにマッチ
ング誤差が大きくなることから容易に判別できる。

【００１８】本発明の第３の画像の符号化方式において
は、画像内の複数の被写体領域毎に視差パラメータの検
出と予測画像の生成を行う。この被写体領域毎の処理の
原理を図３と図６とを用いて説明する。カメラからの距
離が大きく異なる複数の被写体からなる画像では、被写
体毎に異なる視差パラメータが検出されることがある。
図６はカメラとの距離が大きく異なる２つの被写体を視
点の異なる２台のカメラで撮影した画像において、検出
される視差ベクトルが被写体間で異なることを説明する
図である。視点Ａから撮影した画像（ａ）に対して視点
Ｂから撮影した画像（ｂ）を参照画像とする。このとき
両方の画像でカメラにより近い被写体Ｃは画像のほぼ中
央に来ている。このため被写体Ｃ上での視差ベクトルは
ほとんど零となる。一方、カメラから遠い被写体Ｄに対
しては視点Ｂからの方がより左側を撮影しているため、
被写体Ｄ上での視差ベクトルは右向きのものが検出され
る。つまりカメラとの距離が大きく異なる被写体間では
視差ベクトルが異なるため、対応する視差パラメータも
異なることがわかる。そこで視差ベクトルが不連続に変
化する部分を被写体の境界とみなして画像を複数の領域
に分割する。次に分割された領域毎に該領域内で検出さ
れた視差ベクトルを用いて視差パラメータを推定すれば
よい。

【００１９】図３は被写体領域毎に視差パラメータの検
出と予測画像生成を行う予測画像生成方式を実現する一
実施例を示すブロック図である。まず視差ベクトル検出
回路３１に参照画像３０１と入力画像３０２が供給さ
れ、画素毎あるいは小ブロック毎に視差ベクトル３０３
を検出して、その検出座標位置３０４とともに出力す
る。次に領域分割回路３２では供給された視差ベクトル
３０３から入力画像３０２を複数領域に分割するための
領域分割情報３０５を生成する。ここでは入力画像３０
２が複数の被写体で構成される場合に被写体間の境界部
では検出される視差ベクトルが不連続になることを利用
する。すなわち隣接する視差ベクトル間での値の差分が
あらかじめ定めたしきい値より大きければ該視差ベクト
ルの検出座標位置を領域境界点とする。この処理を画像
全体で検出された視差ベクトルに対して行い、前記検出
された領域境界点を連続的に接続して境界線を引くこと
で画像全体を複数領域に分割した結果を得る。この結果
に基づき入力画像３０２を構成する各画素あるいは各小
ブロックが前記分割された複数領域の何れに属するかを
示す領域分割情報３０５を出力する。

【００２０】次に視差パラメータ推定回路３３では前記
領域分割情報３０５を参照しながら前記検出された視差
ベクトル３０３から領域毎に視差パラメータ３０６を推
定する。視差パラメータの推定は本発明の第２の方式に
示した最小２乗誤差法を用いて実現することが可能であ
る。予測画像生成回路３４では前記領域分割情報３０５
を参照することで入力画像３０２の画素毎あるいは小ブ
ロック毎に何れの領域に属するかを判別して視差パラメ
ータを選択し、参照画像３０１上での対応座標位置を前
記選択されたパラメータから計算する。そして参照画像
３０１を符号復号化した局所再生画像３０７上の前記対
応座標位置から画素の値を読み出して、該画素あるいは
該小ブロックの予測値とすることで予測画像３０８を生
成する。減算器３５では入力画像３０２からこの予測画
像３０８を差し引いて予測差分画像３０９を出力する。
また複数の視差パラメータ３０６と領域分割情報３０５
も符号化すべき情報として出力される。

【００２１】

【実施例】本願発明について図面を参照して説明する。
図１は本発明の第１の画像の符号化方式を実現する一実
施例のブロック図である。図１において、符号化回路１
１は入力画像１０１を符号化した符号化信号１０４と、
これを復号再生した局所再生画像１０５を出力する。ま
た視差パラメータ検出回路１２では入力画像１０１，１
０２から視差パラメータ１０６を検出する。予測画像生
成回路１３ではこの視差パラメータ１０６を用いて局所
再生画像１０５から予測画像１０７を生成し、減算器１
４で入力画像１０２と予測画像１０７との差分を求めて
予測差分画像１０８を出力する。符号化回路１５では予
測差分画像１０８と視差パラメータ１０６とを符号化し
た符号化信号１０９を出力する。復号化回路１７では符
号化信号１０９を復号して、予測差分画像１１１と視差
パラメータ１１２を出力する。予測画像生成回路１８で
は視差パラメータ１１２を用いて再生画像１１０から予
測画像１１３を生成し、加算器１９で予測画像１１３に
予測差分画像１１１を加算して再生画像１１４を出力す
る。

【００２２】図２は本発明の第２の方式における、最小
２乗誤差法を用いたパラメータ検出方式を実現する一実
施例のブロック図である。図２では視差ベクトル検出回
路２１において参照画像２０１と入力画像２０２から画
素毎あるいは小ブロック毎に視差ベクトル２０３を検出
して、該画素あるいは該小ブロックの座標位置２０４と
共に出力する。視差パラメータ推定回路２２では視差ベ
クトル２０３とその検出座標位置２０４から最小２乗誤
差法を用いて視差パラメータ２０５を推定して出力す
る。

【００２３】図３は本発明の第３の画像の符号化方式に
おける、被写体領域毎に視差パラメータの検出と予測画
像生成を行う予測画像生成方式を実現する一実施例のブ
ロック図である。図３では視差ベクトル検出回路３１に
おいて参照画像３０１と入力画像３０２から画素毎ある
いは小ブロック毎に視差ベクトル３０３を検出して、該
画素あるいは該小ブロックの座標位置３０４と共に出力
する。次に領域分割回路３２では視差ベクトル３０３の
不連続性を検出して、入力画像３０２を複数の領域に分
割するための領域分割情報３０５を出力する。視差パラ
メータ推定回路３３では領域分割情報３０５を参照しな
がら分割領域毎に視差ベクトル３０３から視差パラメー
タ３０６を推定して出力する。予測画像生成回路３４領
域分割情報３０５を参照しながら画素毎あるいは小ブロ
ック毎に視差パラメータ３０６を選択して、この選択さ
れた視差パラメータ３０６を用いて局所再生画像３０７
から予測画像３０８を生成して出力する。減算器３５で
は入力画像３０２から予測画像３０８を差し引いて予測
差分画像３０９を出力する。

【００２４】

【発明の効果】以上に説明したように本発明では、視点
の少しずつ異なる複数台のカメラで撮影した複数の画像
を符号化するにおいて、１つの画像を代表画像として選
択して符号化すると共に、残りの画像を符号化するに際
しては前記選択された代表画像から予測画像を生成して
これとの差分画像のみ符号化するので、複数の画像全体
としての符号量を削減するのに効果がある。また参照画
像から予測画像を生成するに際して視差パラメータを用
いた画像の変換を行っているので高い予測効率を実現し
ている。

【図面の簡単な説明】

【図１】本発明に係わる第１の実施例の基本ブロック図
である。

【図２】本発明に係わる第２の実施例の基本ブロック図
である。

【図３】本発明に係わる第３の実施例の基本ブロック図
である。

【図４】視点の少しずつ異なる複数台のカメラで撮影し
て得られた複数の画像の関係を説明する図である。

【図５】視点の異なるカメラで撮影して得られた２つの
画像間において検出される視差ベクトルの例を説明する
図である。

【図６】カメラからの距離が異なる複数の被写体を異な
る視点から撮影した場合に被写体毎に検出される視差ベ
クトルが異なることを説明する図である。

【符号の説明】

１１，１５ 符号化回路 １２ 視差パラメータ検出回路 １３，１８，３４ 予測画像生成回路 １４，３５ 減算器 １６，１７ 復号化回路 １９ 加算器 ２１，３１ 視差ベクトル検出回路 ２２，３３ 視差パラメータ推定回路 ３２ 領域分割回路 １０１，１０２，１０３，２０２，３０２ 入力画像 １１０，１０９ 符号化信号 １０５，３０７ 局所再生画像 １０６，１１２，２０５，３０６ 視差パラメータ １０７，１１３，３０８ 予測画像 １０８，１１１，３０９ 予測差分画像 １０４，１１４ 再生画像 ２０１，３０１ 参照画像 ２０３，３０３ 視差べクトル ２０４，３０４ 視差ベクトル検出座標位置 ３０５ 領域分割情報

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】視点の少しずつ異なる複数台のカメラで撮
   影して得られた複数の入力画像を符号化する画像の符号
   化方式であり、 前記複数の入力画像から１つ選択された代表画像に対し
   ては該画像の符号化信号と局所再生画像とを生成する手
   段と、 その他の複数の入力画像に対しては各入力画像毎に前記
   代表画像を参照画像としたときに視差により生じた入力
   画像の変位を記述する８つの係数からなる視差パラメー
   タを検出し、前記視差パラメータを用いて前記局所再生
   画像から予測画像を生成し、入力画像と前記予測信号と
   の差分信号を検出して、前記差分信号と前記視差パラメ
   ータとの符号化信号を生成する手段とを備えることを特
   徴とした画像の符号化方式。
2. 【請求項２】前記視差パラメータの検出および前記視差
   パラメータを用いた予測画像の生成を、 入力画像がカメラとの距離が異なる複数の被写体領域で
   構成される場合に、画素毎または複数画素からなる小ブ
   ロック毎に視差ベクトルを検出する手段と、 前記視差ベクトルを用いて画像領域全体を複数の領域に
   分割する手段と、 前記分割された領域毎に前記視差ベクトルから視差パラ
   メータを推定する手段と、 前記分割された領域毎に前記検出された視差パラメータ
   を用いて前記局所再生画像から予測画像を生成する手段
   とを用いて行うことを特徴とした請求項１に記載の画像
   の符号化方式。