JP5395911B2 - ステレオ画像符号化装置、方法 - Google Patents

Description

本発明は、ステレオ画像を圧縮符号化して、圧縮符号化されたデータを、光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に記録するステレオ画像符号化装置およびステレオ画像符号化方法に関する。

一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって、情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照して、ブロック単位で動き量（以下、動きベクトル）を検出し、検出した動きベクトルを考慮した予測を行うことにより、予測精度を上げ、符号化効率を向上させている。例えば、符号化対象となる入力画像データの動きベクトルを検出し、その動きベクトルの分だけシフトした位置の予測値と、符号化対象となる入力画像データとの予測残差を符号化することにより、符号化に必要な情報量を削減している。

なお、ここで、動きベクトルの検出時に参照するピクチャを参照ピクチャと呼ぶ。また、ピクチャとは、１枚の画面を表す用語である。画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをＩピクチャと呼ぶ。また、１枚の参照ピクチャから画面間予測符号化を行うピクチャをＰピクチャと呼ぶ。また、最大２枚の参照ピクチャから画面間予測符号化を行うピクチャをＢピクチャと呼ぶ。

ここで、第１の映像信号と、第２の映像信号とを符号化するステレオ画像符号化の方式として、第１の映像信号については、ステレオではないモノラルの映像信号の符号化と同様の方式で符号化し、第２の映像信号については、同時刻の、第１の映像信号のフレームから動き補償（以下、視差補償）を行う方式が提案されている。

図７は、提案されているステレオ画像符号化の符号化構造を示した図である。

ピクチャＩ０、ピクチャＢ２、ピクチャＢ４、ピクチャＰ６は、第１の映像信号に含まれる複数のフレームを表している。そして、ピクチャＳ１、ピクチャＳ３、ピクチャＳ５、ピクチャＳ７は、第２の映像信号に含まれる複数のフレームを表している。ピクチャＩ０は、Ｉピクチャとして符号化するピクチャである。そして、ピクチャＰ６は、Ｐピクチャとして符号化するピクチャである。そして、ピクチャＢ２、ピクチャＢ４は、Ｂピクチャとして符号化するピクチャであることを表している。なお、図中の矢印は、矢印の根元（出発点）にあたるピクチャを符号化するときに、矢印の先（到達点）にあたるピクチャを参照し得ることを示している。また、ピクチャＳ１、ピクチャＳ３、ピクチャＳ５、ピクチャＳ７は、それぞれ、そのピクチャの時刻と同時刻の、第２の映像信号のフレームを参照している。なお、符号化する際のピクチャタイプは、ＰピクチャでもＢピクチャでもよい。

図８は、図７の符号化構造で符号化する場合の符号化順序と、各入力ピクチャを符号化する際に用いる参照ピクチャの一例を示す。

図７の符号化構造で符号化する場合、ピクチャＩ０、ピクチャＳ１、ピクチャＰ６、ピクチャＳ７、ピクチャＢ２、ピクチャＳ３、ピクチャＢ４、ピクチャＳ５の順で符号化される。ピクチャＳ１、ピクチャＳ３、ピクチャＳ５、ピクチャＳ７は、それぞれ、そのピクチャの時刻と同時刻の、第１の映像信号のフレームが符号化された直後に符号化される。

第１の映像信号と第２の映像信号は、一方が右目用の映像で、もう一方が左目用の映像である。そして、同時刻の、第１の映像信号に含まれるフレームと、第２の映像信号に含まれるフレームとは、異なる時刻の、第１の映像信号のフレームと、第２の映像信号のフレームとよりも相関が高い。このため、同時刻の２つのフレームの間での参照をして、視差補償を行うことにより、情報量を効率的に削減することができる。

なお、ピクチャＳ３の符号化において、複数の参照ピクチャＳｘが用いられてもよい。このとき、用いられる複数の参照ピクチャＳｘのうちに、ピクチャＳ３が含まれてもよい。

従来より、このように、一方の映像信号（第２の映像信号）のピクチャ（ピクチャＳ３）の符号化で、他方の映像信号（第１の映像信号）のピクチャ（ピクチャＢ２）が参照される技術が知られる。

なお、ここで、一方の映像信号のピクチャ（ピクチャＳ３）から参照されるピクチャ（ピクチャＢ２）が含まれる、他方の映像信号は、図７に示されるように、左目用の映像信号であってもよいし、逆に、右目用の映像信号であってもよい。

特開平０７−２４０９４４号公報

ここで、ステレオ画像符号化では、人間から見て近い位置にある領域は、人間の視覚上の重要度が高いと考えられるため、この部分への、符号量の割り当てを多くすることにより、効率の良い符号化が可能である。

そして、人間から見て近い位置にある領域か、遠い位置にある領域かを判断する方法としては、判断がされる領域において、第１の映像信号と第２の映像信号との間の予測残差の絶対値和が大きければ、その領域が、人間から見て近い位置にあると判断する方法がある（特許文献１）。

しかし、予測残差の絶対値和は、人間から見た、近さ／遠さに常に比例するわけではない。

図９は、ステレオ画像の一例で、椅子を撮影した映像であり、左目用の映像９Ｘを第１の映像信号の映像とし、右目用の映像９Ｙを第２の映像信号の映像としている。

図１０は、図９の映像が模式的に示された図である。適宜、図１０を参照されたい。

領域Ａ（領域９ＸＡおよび領域９ＹＡ：注視領域）は、この映像で最も人に近い部分（注視領域）であるが、この領域の第１の映像信号と第２の映像信号との相関は高く、予測残差の絶対値和は大きくならない。また、領域Ｂ（領域９ＸＢおよび領域９ＹＢ：非注視領域）は、領域Ａに比べて人から遠い部分であるが、後ろに映っている背景の位置が異なり、すなわち、２つのハッチング領域の境界の位置が異なるため、この領域Ｂの、第１の映像信号と第２の映像信号との間の相関は低く、予測残差の絶対値和は大きくなる。このように、従来の方式では、正確に、人間から見て近い位置にある領域、遠い位置にある領域を検出することができず、人間の視覚上の重要度が高い領域に符号量を多く割り当て、効率の良い符号化を行うことができないという課題があった。

本発明は、かかる問題を解決するためになされたものであり、画質および符号化効率を向上させることができるステレオ画像符号化装置およびステレオ画像符号化方法を提供することを目的とする。

上記の課題を解決するために、本願のステレオ画像符号化装置は、互いに異なる２つの位置で撮像された２つの映像信号を取得する取得部と、取得された２つの前記映像信号の間の視差に関する視差情報を算出する算出部と、算出された前記視差情報に基づいて、取得された２つの前記映像信号による立体映像における部分の、現在または過去の（うちの予め定められた一方における）前記視差が大きいほど、その部分の符号量が大きくなるように、符号化条件を決定する決定部と、取得された２つの前記映像信号による前記立体映像の、決定された前記符号化条件で符号化された立体映像信号を生成する生成部とを備えるステレオ画像符号化装置である。

つまり、立体映像における部分として、比較的大きい第１の視差の第１の部分と、比較的小さい第２の視差の第２の部分とがあってもよい。

そして、第１の部分または第２の部分である当該部分の符号化での符号化条件として、当該部分の視差が第１の視差である場合には、第１の符号化条件が決定されてもよい。そして、第２の視差である場合には、第２の符号化条件が決定されてもよい。

そして、第１の符号化条件は、その符号化条件での符号化での符号量が比較的大きい条件であり、第２の符号化条件は、比較的小さい条件であってもよい。

例えば、このステレオ画像符号化装置は、互いに異なる位置で撮影された２つの映像の映像信号である、第１の映像信号と、第２の映像信号とを符号化し、前記第１の映像信号と前記第２の映像信号とが符号化された、ステレオ映像信号用の符号化ストリームを生成するステレオ画像符号化装置であって、前記第１の映像信号に含まれる第１のフレーム（例えば、ピクチャＳ３）と、前記第２の映像信号に含まれるフレームのうちで、前記第１のフレームと同時刻に撮影された第２のフレーム（ピクチャＢ２）との間での視差を特定する視差情報を算出する視差情報算出部と、前記視差情報算出部において算出された前記視差情報が、第１の距離の視差を特定する視差情報である場合、符号化で用いる量子化パラメータとして、第１の量子化パラメータを決定し（Ｓ３０２：Ｙｅｓ参照）、前記第１の距離より遠い第２の距離の視差を特定する視差情報である場合、前記第１の量子化パラメータより大きい第２の量子化パラメータを決定する（Ｓ３０２：Ｎｏ参照）量子化パラメータ決定部と、前記量子化パラメータ決定部において決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化を行う画像符号化部とを備えるステレオ画像符号化装置などである。

なお、ここで、同時刻に撮影されたとは、適切な量子化パラメータが決定される視差情報が算出される程度に、一方の撮影の時刻が、他方の撮影の時刻に近いことをいう。具体的には、例えば、同時刻に撮影されるとは、厳密に同じ時刻に撮影されることでもよいし、１又は複数のフレームの時間だけ過去又は未来にズレた時刻に撮影されることでもよい。

また、こうして、第２の距離より近い第１の距離の視差情報が算出された場合には、第２の距離の視差情報が算出された場合に決定される第２の量子化パラメータよりも小さい第１の量子化パラメータが決定されてもよい。そして、これにより、近い距離の視差情報が算出されるほど、小さな量子化パラメータが決定されてもよい。

そして、このステレオ画像符号化装置は、次のＡ１のステレオ画像符号化装置等の特徴の一部又は全部を有してもよい。

また、上記目的を達成するために、本願のＡ１のステレオ画像符号化装置は、異なる位置で撮影された第１の映像信号と、第２の映像信号とを符号化し、ステレオ映像信号用の符号化ストリームを生成するステレオ画像符号化装置であって、前記第１の映像信号に含まれる第１のフレームと、前記第２の映像信号に含まれるフレームのうち前記第１のフレームと同時刻に撮影された第２のフレームとの動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部において決定された前記動きベクトルに応じて、符号化で用いる量子化パラメータを決定する量子化パラメータ決定部と、前記量子化パラメータ決定部において決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化を行う画像符号化部とを備えることを特徴とするものである。

また、本願のＡ２のステレオ画像符号化装置は、本願のＡ１のステレオ画像符号化装置において、前記量子化パラメータ決定部は、前記動きベクトルの水平成分から求められる、人間から見て近い位置にある領域であるかどうかを示す視差特徴量が予め定められた第１の閾値以上である場合、前記量子化パラメータを小さくすることを特徴とするものである。

また、本願のＡ３のステレオ画像符号化装置は、本願のＡ１のステレオ画像符号化装置において、前記量子化パラメータ決定部は、前記視差特徴量が予め定められた第２の閾値以下である場合、前記量子化パラメータを大きくすることを特徴とするものである。

また、本願のＡ４のステレオ画像符号化装置は、本願のＡ１〜Ａ３のいずれかのステレオ画像符号化装置において、前記画像符号化部はＨ．２６４規格で符号化されることを特徴とするものである。

また、本願のＡ５のステレオ画像符号化方法は、異なる位置で撮影された第１の映像信号と、第２の映像信号とを符号化し、ステレオ映像信号用の符号化ストリームを生成するステレオ画像符号化方法であって、前記第１の映像信号に含まれる第１のフレームと、前記第２の映像信号に含まれるフレームのうち前記第１のフレームと同時刻に撮影された第２のフレームとの動きベクトルを算出する動きベクトル算出ステップと、前記動きベクトル算出ステップにおいて決定された前記動きベクトルに応じて、符号化で用いる量子化パラメータを決定する量子化パラメータ決定ステップと、前記量子化パラメータ決定ステップにおいて決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化を行う画像符号化ステップとを備えることを特徴とするものである。

また、本願のＡ６のステレオ画像符号化方法は、本願のＡ５のステレオ画像符号化方法において、前記量子化パラメータ決定ステップは、前記動きベクトルの水平成分から求められる、人間から見て近い位置にある領域であるかどうかを示す視差特徴量が予め定められた第１の閾値以上である場合、前記量子化パラメータを小さくすることを特徴とするものである。

また、本願のＡ７のステレオ画像符号化方法は、本願のＡ５のステレオ画像符号化方法において、前記量子化パラメータ決定ステップは、前記視差特徴量が予め定められた第２の閾値以下である場合、前記量子化パラメータを大きくすることを特徴とするものである。

また、本願のＡ８のステレオ画像符号化集積回路は、異なる位置で撮影された第１の映像信号と、第２の映像信号とを符号化し、ステレオ映像信号用の符号化ストリームを生成するステレオ画像符号化集積回路であって、前記第１の映像信号に含まれる第１のフレームと、前記第２の映像信号に含まれるフレームのうち前記第１のフレームと同時刻に撮影された第２のフレームとの動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部において決定された前記動きベクトルに応じて、符号化で用いる量子化パラメータを決定する量子化パラメータ決定部と、前記量子化パラメータ決定部において決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化を行う画像符号化部とを備えることを特徴とするものである。

また、本願のＡ９のステレオ画像符号化プログラムは、異なる位置で撮影された第１の映像信号と、第２の映像信号とを符号化し、ステレオ映像信号用の符号化ストリームを生成するステレオ画像符号化プログラムであって、前記第１の映像信号に含まれる第１のフレームと、前記第２の映像信号に含まれるフレームのうち前記第１のフレームと同時刻に撮影された第２のフレームとの動きベクトルを算出する動きベクトル算出ステップと、前記動きベクトル算出ステップにおいて決定された前記動きベクトルに応じて、符号化で用いる量子化パラメータを決定する量子化パラメータ決定ステップと、前記量子化パラメータ決定ステップにおいて決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化を行う画像符号化ステップとを備えることを特徴とするものである。

本発明によれば、第１の映像信号に含まれる第１のフレームと、第２の映像信号に含まれるフレームのうち、第１のフレームと同時刻に撮影された第２のフレームとの動きベクトルに応じて、符号化で用いる量子化パラメータを決定する。このため、視差に応じた符号量の割り当てが可能となり、符号化した画像の画質および符号化効率を向上させることが可能となる。

図１は、実施の形態に係るステレオ画像符号化装置の構成を示すブロック図である。 図２は、実施の形態に係るステレオ画像符号化装置における画像符号化部の詳細な構成を示すブロック図である。 図３は、実施の形態に係るステレオ画像符号化装置における量子化パラメータ決定部が実行する処理の一例を示すフローチャートである。 図４は、対象物が撮影される空間と、ステレオ画像符号化装置とを示す図である。 図５は、視差情報と、量子化幅との対応関係を示す図である。 図６は、ビデオカメラを示す図である。 図７は、ステレオ画像を符号化するときの符号化構造の一例を示す図である。 図８は、図７のステレオ画像を符号化するときの、符号化順序、ならびに入力画像と参照画像の関係を示した図である。 図９は、ステレオ画像の一例を示す図である。 図１０は、ステレオ画像の模式図である。 図１１は、前処理部などを示す図である。 図１２は、レート制御部などを示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

実施形態のステレオ画像符号化装置１００は、互いに異なる２つの撮影位置ＰＸ、ＰＹで撮像された２つの映像信号１０１ｉＸ、１０１ｉＹを取得する取得部と、取得された２つの前記映像信号の間の視差に関する視差情報（図４の動きベクトルＶＦ、ＶＮ）を算出する動きベクトル検出部１０２と、算出された前記視差情報に基づいて、取得された２つの前記映像信号による立体映像における部分（図９の領域９Ａなど）の、現在（図７のピクチャＢ２、Ｓ３の時刻）または過去（ピクチャＩ０、Ｓ１の時刻）の（うちの予め定められた一方における）前記視差が大きいほど、その部分（領域９Ａ）の符号量が大きくなるように、符号化条件（図１の量子化パラメータ１０４Ｐ）を決定する量子化パラメータ決定部１０３と、取得された２つの前記映像信号による前記立体映像の、決定された前記符号化条件で符号化された立体映像信号（符号化ストリーム１００ｏ）を生成する画像符号化部１０４とを備えるステレオ画像符号化装置１００である。

具体的には、このステレオ画像符号化装置１００は、例えば、互いに異なる位置（図４の撮影位置ＰＸ、撮影位置ＰＹ）で撮影された２つの映像の映像信号である、第１の映像信号（第１の映像信号１０１ｉＸ）と、第２の映像信号（第２の映像信号１０１ｉＸ）とを符号化し、前記第１の映像信号と前記第２の映像信号とが符号化された、ステレオ映像信号用の符号化ストリーム（符号化ストリーム１００ｏ）を生成するステレオ画像符号化装置であって、前記第１の映像信号に含まれる第１のフレーム（映像９Ｘ、ピクチャＢ２）と、前記第２の映像信号に含まれるフレームのうちで、前記第１のフレームと同時刻に撮影された第２のフレーム（映像９Ｙ、ピクチャＳ３）との間の視差（図４の説明参照。例えば、視方向の角度差の水平成分）を特定する視差情報（動きベクトル、その水平成分）を算出する視差情報算出部（動きベクトル検出部１０２）と、前記視差情報算出部において算出された前記視差情報が、第１の距離の視差を特定する視差情報（動きベクトルＶＮ）である場合（Ｓ３０２：Ｙｅｓ）、符号化で用いる量子化パラメータとして、第１の量子化パラメータ（量子化パラメータ１０４ｐＳ）を決定し、前記第１の距離より遠い第２の距離の視差を特定する視差情報（動きベクトルＶＦ）である場合（Ｓ３０２：Ｎｏ）、前記第１の量子化パラメータより大きい第２の量子化パラメータ（量子化パラメータ１０４ｐＬ）を決定する量子化パラメータ決定部（量子化パラメータ決定部１０３）と、前記量子化パラメータ決定部において決定された前記量子化パラメータを用いて、前記第１の映像信号または前記第２の映像信号の符号化（第２の映像信号１０１ｉＹ（映像９Ｙ）の領域（第２領域）の量子化）を行う画像符号化部１０４とを備えるステレオ画像符号化装置などでもよい。

なお、ここで、更に具体的には、前記視差情報は、前記第２のフレーム（映像９Ｙ、ピクチャＳ３）に含まれる第２領域と、前記第２領域に撮影された対象物（図４の対象物ＯＦ又は対象物ＯＮ）と同じ前記対象物が撮影された、前記第１のフレーム（映像９Ｘ、ピクチャＢ２）に含まれる第１領域との間の視差（例えば、視方向の角度差）を特定し、前記画像符号化部は、前記量子化パラメータ決定部により前記第１の量子化パラメータが決定された場合、前記第１領域および前記第２領域のうちの少なくとも一方の領域（第２領域）を第１の量子化幅により量子化し（Ｓ３０２：Ｙｅｓ）、前記第２の量子化パラメータが決定された場合、前記第１の量子化幅よりも大きい第２の量子化幅により前記一方の領域を量子化する（Ｓ３０２：Ｎｏ）。

以下、詳しい説明が行われる。

図１は、実施の形態に係るステレオ画像符号化装置１００の構成を示すブロック図である。

実施の形態に係るステレオ画像符号化装置１００においては、第１の映像信号１０１ｉＸと、第２の映像信号１０１ｉＹとが入力され、Ｈ．２６４圧縮方式でそれらが符号化されたデータが、ストリーム（符号化ストリーム１００ｏ）として出力される。なお、Ｈ．２６４圧縮方式による符号化においては、１つのピクチャを、１つまたは複数のスライスに分割し、そのスライスを処理単位としている。本発明の実施の形態における、Ｈ．２６４圧縮方式による符号化では、一例として、１つのピクチャが１つのスライスであるとする。

図１において、ステレオ画像符号化装置１００は、入力画像メモリ１０１と、動きベクトル検出部１０２と、量子化パラメータ決定部１０３と、画像符号化部１０４と、参照画像メモリ１０５とを備える。

入力画像メモリ１０１は、ステレオ画像符号化装置１００に入力された第１の映像信号１０１ｉＸと、第２の映像信号１０１ｉＹとを、ステレオ画像符号化装置１００への入力画像データとして格納している。なお、入力画像メモリ１０１が保持している情報は、動きベクトル検出部１０２、画像符号化部１０４により参照される。

動きベクトル検出部１０２は、参照画像メモリ１０５に格納されているローカルデコード画像を探索対象とし、符号化対象となる入力画像データに最も近い画像領域を検出して、その画像領域の位置を示す動きベクトルを決定し、それらの情報を量子化パラメータ決定部１０３、及び画像符号化部１０４に送信する。

量子化パラメータ決定部１０３は、動きベクトル検出部１０２から出力された動きベクトルから、符号化で用いる量子化パラメータを決定し、それらの情報を、画像符号化部１０４に送信する。なお、量子化パラメータ決定部１０３における具体的な動作に関する詳細については後述する。

画像符号化部１０４は、動きベクトル検出部１０２が出力した動きベクトルと、量子化パラメータ決定部１０３が出力した量子化パラメータとに従って、入力画像メモリに格納されている、符号化対象となる入力画像データを、Ｈ．２６４圧縮方式による符号化により圧縮符号化する。

参照画像メモリ１０５は、画像符号化部１０４が出力したローカルデコード画像を格納する。なお、参照画像メモリ１０５が保持している情報は、動きベクトル検出部１０２、及び画像符号化部１０４により参照される。

次に、図２を用いて、画像符号化部１０４の詳細な構成について説明する。

図２は、実施の形態に係るステレオ画像符号化装置１００における画像符号化部１０４の詳細な構成を示すブロック図である。

図２において、画像符号化部１０４は、面内予測部２０１、動き補償部２０２、予測モード判定部２０３、差分演算部２０４、直交変換部２０５、量子化部２０６、逆量子化部２０７、逆直交変換部２０８、加算部２０９、およびエントロピー符号化部２１０を備えている。

面内予測部２０１は、参照画像メモリ１０５に格納されているローカルデコード画像に基づいて、同一画面内の、符号化後の画素を用いて、面内予測を行い、面内予測の予測画像を生成する。そして、面内予測部２０１は、生成した予測画像を、予測モード判定部２０３に出力する。

動き補償部２０２は、動きベクトル検出部１０２から受信した情報に含まれる動きベクトルを用いて、参照画像メモリ１０５に格納されているローカルデコード画像から、予測画像に最適な画像領域を取り出し、面間予測の予測画像を生成し、生成した予測画像を、予測モード判定部２０３に出力する。

予測モード判定部２０３は、予測モードを判定して、その判定の判定結果に基づき、面内予測部２０１からの、面内予測で生成された予測画像と、動き補償部２０２からの、面間予測で生成された予測画像とを切り替えて出力する。つまり、予測モード判定部２０３は、それら２つの予測画像から１つを選択し、選択された予測画像を出力する。予測モード判定部２０３において予測モードを判定する方法は、例えば、面間予測と面内予測について、それぞれ符号化対象となる入力画像データと予測画像との各画素の間の差分絶対値和を求め、この値が小さい方を予測モードと判定する方法でもよい。

差分演算部２０４は、入力画像メモリ１０１から、符号化対象となる入力画像データを取得する。そして、差分演算部２０４は、取得した入力画像と、予測モード判定部２０３から出力された予測画像との間の画素差分値を計算し、計算した画素差分値を直交変換部２０５に出力する。

直交変換部２０５は、差分演算部２０４から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部２０６に出力する。

量子化部２０６は、直交変換部２０５から入力された周波数係数を量子化する。そして、量子化部２０６は、周波数係数が量子化されたデータを、量子化データとして、エントロピー符号化部２１０および逆量子化部２０７に出力する。

逆量子化部２０７は、量子化部２０６から入力された量子化データを逆量子化して、量子化データを、量子化データが逆量子化された周波数係数に復元し、復元した周波数係数を逆直交変換部２０８に出力する。

逆直交変換部２０８は、逆量子化部２０７から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部２０９に出力する。

加算部２０９は、逆直交変換部２０８から入力される画素差分値と、予測モード判定部２０３から出力された予測画像を加算して、加算により得られた画像を、ローカルデコード画像として、参照画像メモリ１０５に出力する。

なお、ここで、参照画像メモリ１０５に記憶されるローカルデコード画像は、入力画像メモリ１０１に記憶される入力画像データと基本的には同じ画像である。ただし、このローカルデコード画像は、直交変換部２０５および量子化部２０６などで、一旦直交変換および量子化処理をされた後、逆量子化部２０７および逆直交変換部２０８などで逆量子化および逆直交変換処理をされた画像である。このため、参照画像メモリ１０５に記憶されるローカルデコード画像は、量子化歪みなどの歪み成分を有している。これにより、参照画像メモリ１０５を用いる処理で、歪み成分を反映した適切な処理がされる。

エントロピー符号化部２１０は、量子化部２０６から入力された量子化データおよび、動きベクトル検出部１０２から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを符号化ストリーム１００ｏとして出力する。

すなわち、画像符号化部１０４においては、符号化がされる画像を表す、量子化前のデータ（周波数係数）を、量子化後のデータ（量子化データ）へと量子化する量子化部２０６を備える。そして、この量子化部２０６は、比較的小さな量子化幅で量子化をする場合、比較的大きなデータ量の、量子化後のデータへと量子化を行い、比較的大きな量子化幅で量子化をする場合、比較的小さなデータ量の、量子化後のデータへと量子化を行う。

次に、以上のように構成されたステレオ画像符号化装置１００が実行する処理について説明する。

まず、第１の映像信号１０１ｉＸと、第２の映像信号１０１ｉＹが入力画像メモリ１０１に格納される。例えば、第１の映像信号１０１ｉＸが左目用の映像信号を、第２の映像信号１０１ｉＹが右目用の映像信号を表している。そして、それぞれの映像信号は、画素数が、例えば、１９２０画素×１０８０画素で、構成されている。なお、第１の映像信号１０１ｉＸは、右目用の映像信号であってもよい、また、第２の映像信号１０１ｉＹは、左目用の映像信号であってもよい。なお、この明細書では、第１の映像信号１０１ｉＸおよび第２の映像信号１０１ｉＹの説明で、適宜、それぞれ、図７の第１の映像信号および第２の映像信号が参照される。

動きベクトル検出部１０２は、参照画像メモリ１０５に格納されているローカルデコード画像を探索対象とし、符号化対象となる入力画像データに最も近い画像領域を検出する。つまり、動きベクトル検出部１０２は、入力画像データの内容に最も近い内容を有すると判定される画像領域を検出して、その画像領域の位置を示す動きベクトルを決定する。

なお、動きベクトルはブロック単位で検出される。具体的には、この検出の処理では、符号化対象となる入力画像データ側（図７のピクチャＳ３）のブロック（符号化対象ブロック）を固定しておく。そして、参照ピクチャ側（ピクチャＢ２）のブロック（参照ブロック）を探索範囲内で移動させる。そして、符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。なお、この動きベクトルを探索する処理を、動きベクトル検出と呼ぶ。似通っているかどうかの判断の方法としては、符号化対象ブロックと参照ブロックの比較誤差を使用する方法が一般的であり、特に差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づいた方法がよく用いられる。なお、参照ピクチャ全体の中で参照ブロックを探索すると、演算量が膨大となるため、参照ピクチャの中で、探索する範囲を制限することが一般的であり、制限した範囲を探索範囲と呼ぶ。

次に、図３を用いて、量子化パラメータ決定部１０３が実行する処理の一例を説明する。

図３は、実施の形態に係るステレオ画像符号化装置１００における量子化パラメータ決定部１０３が実行する処理の一例を示すフローチャートである。

図３において、量子化パラメータ決定部１０３は、動きベクトル検出部１０２から出力された動きベクトルが、同時刻の片方のフレームを参照しているかを判断する（Ｓ３０１）。ここで、同時刻の片方のフレームとは、動きベクトルの始端が含まれるフレーム（図７のピクチャＳ３）の時刻と同時刻における、そのフレームの映像信号（第２の映像信号）とは異なる方の映像信号（第１の映像信号）のフレーム（ピクチャＢ２）をいう。なお、具体的には、例えば、複数の参照ピクチャＳｘのうちに、ピクチャＢ２が含まれるか否かが判定されてもよい。

ステップＳ３０１において、動きベクトルが、同時刻の片方のフレームを参照していないと判断された場合（ステップＳ３０１においてＮｏの場合）、量子化パラメータ決定部１０３は、予め設定された値を、量子化パラメータとして、画像符号化部１０４へ出力する。

他方、ステップＳ３０１において、動きベクトルが、同時刻の片方のフレームを参照していると判断された場合（ステップＳ３０１においてＹｅｓの場合）、量子化パラメータ決定部１０３は、視差特徴量が、予め定められた閾値（後述される図５の閾値１０３ｔ）以上であるかを判断する（Ｓ３０２）。なお、視差特徴量とは、動きベクトルの水平成分から求められる、人間から見て近い位置にある領域であるかどうかを示す量である。なお、視差特徴量については、後で詳しく説明される。

なお、ステップＳ３０１では、このように、視差特徴量が閾値以上か否かが判定される。そして、この判定がされることにより、その視差特徴量が求められた動きベクトルが、閾値以上の視差特徴量が求められる動きベクトルか否か（図４の動きベクトルＶＮおよび動きベクトルＶＦの何れであるか）が量子化パラメータ決定部１０３により判定されると捉えられてもよい。なお、図４および図５の説明は、後で詳しく行われる。

ステップＳ３０２において、視差特徴量が、予め定められた閾値以上でないと判断された場合（ステップＳ３０２においてＮｏの場合）、量子化パラメータ決定部１０３は、予め設定された値（図４及び図５の、大きな量子化パラメータ１０４ｐＬ）を、量子化パラメータとして、画像符号化部１０４へ出力する。

他方、ステップＳ３０２において、視差特徴量が予め定められた閾値以上であると判断された場合（ステップＳ３０２においてＹｅｓの場合）、量子化パラメータ決定部１０３は、予め設定された値から、所定値を差し引いた値（図４及び図５の、小さな量子化パラメータ１０４ｐＳ）を、量子化パラメータとして、画像符号化部１０４へ出力する。

ここで、視差特徴量とは、例えば、動きベクトルの水平成分から求められる、人間から見て近い位置にある領域（図９の領域９Ａ（領域Ａ：注視領域））であるかどうかを示すパラメータである。人間から見て近い位置にある領域では、その領域の視差特徴量は正の値となり、人間から見て遠い位置にある領域（領域９Ｂ（領域Ｂ：非注視領域））では、その領域の視差特徴量は負の値となる。なお、第１の映像信号１０１ｉＸおよび第２の映像信号１０１ｉＹの説明では、適宜、図９（図１０）が参照される。

実施の形態の場合、第１の映像信号１０１ｉＸ（映像９Ｘ）が左目用の映像信号を、第２の映像信号１０１ｉＹ（映像９Ｙ）が右目用の映像信号を表している。そして、第１の映像信号１０１ｉＸのピクチャが、第２の映像信号１０１ｉＹのピクチャの参照ピクチャ（図７のピクチャＢ２参照）となる。このため、人間から見て近い位置にある領域（図９の領域９Ａ：注視領域）の動きベクトルの水平成分は、正の値となり、遠い位置にある領域（領域９Ｂ：非注視領域）の動きベクトルの水平成分は、負の値となる（後述の図５の説明を参照）。このため、動きベクトルの水平成分そのままを、視差特徴量として用いる。

なお、第１の映像信号１０１ｉＸ（映像９Ｘ）が右目用の映像信号を、第２の映像信号１０１ｉＹ（映像９Ｙ）が左目用の映像信号を表しており、第１の映像信号１０１ｉＸが第２の映像信号１０１ｉＹの参照ピクチャとなる場合、上記の場合とは逆である。つまり、人間から見て近い位置にある領域の動きベクトルの水平成分は、負の値となる。そして、人間から見て遠い位置にある領域の動きベクトルの水平成分は、正の値となる。このため、動きベクトルの水平成分の符号を反転させた値を視差特徴量として用いる。

画像符号化部１０４は、動きベクトル検出部１０２が出力した動きベクトル、及び、量子化パラメータ決定部１０３が出力した量子化パラメータに従って、面内予測、動き補償、直交変換、量子化およびエントロピー符号化等の一連の符号化処理を実行する。本発明の実施の形態において、画像符号化部１０４は、Ｈ．２６４符号化方式に従って入力画像データを符号化するものとする。

なお、ここで、一方の映像信号（第１の映像信号１０１ｉＸ）の第１のフレームを参照した符号化が行われる、他方の映像信号（第２の映像信号１０１ｉＹ）に含まれる第２のフレームは、先頭のフレーム（ピクチャＳ１）でもよい。つまり、第２のフレームは、先頭のフレーム（ピクチャＳ１）と、後続の各フレーム（ピクチャＳ３…）とのうちで、先頭のフレーム（ピクチャＳ１）であってもよい。先頭のフレーム（ピクチャＳ１）は、多くの場合に、後続の各フレーム（ピクチャＳ３…）よりも先に符号化される。このため、先頭のフレームの符号化では、先頭のフレームが含まれる映像信号（第２の映像信号１０１ｉＹ）のフレーム（ピクチャＳ３…）が参照されない。つまり、他方の映像信号（第１の映像信号１０１ｉＸ）のフレーム（ピクチャＩ０）を参照した符号化が多くの場合に行われる。このため、多くの場合に、上述の動きベクトルが、視差情報として利用できる。このため、動きベクトルではない別の視差情報を得るための複雑な構成が必要となるのが回避できる。

以上のように、実施の形態に係るステレオ画像符号化装置１００は、量子化パラメータ決定部１０３において、動きベクトル検出部１０２から出力された動きベクトルが、同時刻の片方のフレームを参照している場合（Ｓ３０１：Ｙｅｓ）、動きベクトルの値に応じて量子化パラメータを決定する。そして、画像符号化部１０４は、決定された量子化パラメータに基づいて入力画像データを圧縮符号化する。つまり、このように構成することにより、人間から見て近い位置にある領域、つまり人間の視覚上の重要度が高い領域（領域９Ａ）に、優先して多くの符号量を割り当てて符号化する。このため、符号化効率を高めることができる。したがって、画質および符号化効率を向上させることが可能となる。

つまり、重要な領域の量子化では、近い距離の視差の視差情報が算出されて、小さい第１の量子化パラメータにより特定される小さい量子化幅での量子化がされ（Ｓ３０１：Ｙｅｓ）、高い画質が得られる。他方、重要でない領域の量子化では、遠い距離の視差の視差情報が算出されて、大きい量子化幅での量子化がされ（Ｓ３０１：Ｎｏ）、高い符号化効率が得られる。これにより、高い画質と、高い符号化効率とが両立できる。

続けて、図４、図５を用いて、ステレオ画像符号化装置１００の詳細な点の一例が説明される。ただし、次の説明は単なる一例であり、ステレオ画像符号化装置１００の一部又は全部は、次の説明とは異なってもよい。

図４は、撮影が行われる空間ＳＰＣと、ステレオ画像符号化装置１００とを示す図である。

撮影位置ＰＸは、第１の映像信号１０１ｉＸにより表される左目用の映像（映像９Ｘ）が撮影される撮影位置である。

撮影位置ＰＹは、第２の映像信号１０１ｉＹにより表される右目用の映像（映像９Ｙ）が撮影される撮影位置である。なお、この右目用の映像９Ｙ、及び、左目用の映像９Ｘのうち、左目用映像９Ｙが右目により見られると共に、映像９Ｘが左目により見られる。これにより、３Ｄの（立体的な）映像を、ユーザが知覚する（見る）。なお、撮影位置ＰＹは、撮影位置ＰＸに対して水平な位置である。また、撮影位置ＰＹは、図４の上向きの方向である、撮影の方向に向かって、撮影位置ＰＸよりも右側である。

ここで、映像９Ｘは、映像９Ｙが撮影された時刻と同じ時刻（先述）に撮影された映像である。

スクリーンＳｃｒＸは、撮影位置ＰＸで撮影される映像９Ｘを理解するための、映像９Ｘが示される仮想的なスクリーンである。スクリーンＳｃｒＸは、先述のよう、左側の撮影位置ＰＸのスクリーンである。このため、スクリーンＳｃｒＸでは、撮影位置ＰＸおよび撮影位置ＰＹに対して、比較的近い対象物ＯＮ（領域９Ｂの対象物（被写体））が、右側の箇所ＮＸに撮影される。そして、比較的遠い対象物ＯＦ（領域９Ａの対象物（被写体））が、左側の箇所ＦＸに撮影される。

スクリーンＳｃｒＹは、撮影位置ＰＹに対応する仮想的なスクリーンである。スクリーンＳｃｒＹでは、他方のスクリーンＳｃｒＸとは逆に、近い対象物ＯＮが、左側の箇所ＮＹに撮影される。そして、遠い対象物ＯＦが、右側の箇所ＦＹに撮影される。

このように、近い対象物ＯＮは、スクリーンＳｃｒＸでは右側の箇所ＮＸに撮影され、スクリーンＳｃｒＹでは左側の箇所ＮＹに撮影される。このため、箇所ＮＹから箇所ＮＸへの動きベクトルＶＮの水平成分は、左側から右側への動きでの水平成分であり、つまり、比較的大きな値を有する。

他方、遠い対象物ＯＦは、スクリーンＳｃｒＸでは左側の箇所ＦＸに撮影され、スクリーンＳｃｒＹでは右側の箇所ＦＹに撮影される。このため、箇所ＦＹから箇所ＦＸへの動きベクトルＶＦの水平成分は、右側から左側への動きでの水平成分であり、つまり、比較的小さな値を有する。

ここで、クロスポイントＣＰは、撮影位置ＰＸの撮影方向と、撮影位置ＰＹの撮影方向とが交わる位置であり、スクリーンＳｃｒＸの水平方向の中央の位置、および、スクリーンＳｃｒＹの水平方向の中央の位置のそれぞれと同じ位置である。

そして、近い対象物ＯＮは、例えば、クロスポイントＣＰよりも近い距離の対象物である。このため、近い対象物ＯＮは、スクリーンＳｃｒＸの中央の位置よりも右側の箇所ＮＸと、スクリーンＳｃｒＸの中央の位置よりも左側の箇所ＮＹとにそれぞれ撮影される。このため、箇所ＮＹから箇所ＮＸへの上述の動きベクトルＶＮの水平成分は、正の値である。

他方、遠い対象物ＯＦは、例えば、クロスポイントＣＰよりも遠い距離の対象物である。このため、遠い対象物ＯＦについての、上述の動きベクトルＶＦの水平成分は負である。

なお、近い対象物ＯＮは、例えば、映像９Ｙおよび映像９Ｘにより見せられる３Ｄの映像において、３Ｄの映像が映されるスクリーンの位置から、対象物ＯＮの動きベクトルＶＮの水平成分の（正の）値の絶対値の量だけの飛び出し量を有してもよい。同様に、遠い対象物ＯＦは、例えば、３Ｄの映像において、その３Ｄの映像のスクリーンの位置から、動きベクトルＶＦの水平成分の（負の）値の絶対値の量だけの引き込み量を有してもよい。

そして、ステレオ画像符号化装置１００は、上述のような、動きベクトルＶＮおよびＶＦが算出される映像９Ｘおよび映像９Ｙを、当該ステレオ画像符号化装置１００に入力する。

なお、例えば、ステレオ画像符号化装置１００は、撮影位置ＰＸおよび撮影位置ＰＹなどが含まれる空間ＳＰＣの光を取得する光学系１００Ｌを備えてもよい（図６参照）。そして、ステレオ画像符号化装置１００は、例えば、この光学系１００Ｌにより光を取得することにより、映像９Ｘおよび映像９Ｙを入力する。

画像符号化部１０４は、映像９Ｘおよび映像９Ｙのうちの、参照側である映像９Ｙにおける領域（先述の第２領域：箇所ＮＹまたは箇所ＦＹ）に対して、次のような符号化を行う。つまり、その符号化とは、被参照側である映像９Ｘにおける、第２領域に写された対象物（対象物ＯＮまたは対象物ＯＦ）と同じ対象物が写された領域（先述の第１領域：箇所ＮＸまたは箇所ＦＸ）を参照した符号化である。

なお、先述のように、画像符号化部１０４は、右目側の第２領域を参照した符号化を、第１領域に行ってもよい。

そして、画像符号化部１０４は、第１領域および第２領域のうちで、量子化幅を制御する対象である対象領域（第２領域）の、量子化前のデータを、量子化後のデータへと量子化する。そして、画像符号化部１０４は、量子化された量子化後のデータが含まれるストリームを、符号化ストリーム１００ｏとして生成する。

動きベクトル検出部１０２は、映像９Ｘにおける複数の領域のうちから、上述の第１領域を探索し、探索された第１領域への第２領域からの動きベクトル（動きベクトルＶＦ、ＶＮ）を算出する。

ここで、算出された動きベクトルは、上記第１領域を見る視方向と、上記第２領域を見る視方向との間の角度差などの、第１領域および第２領域の間の視差を特定し、特定される視差が特定する距離として、対象物の距離を特定する。

つまり、算出された動きベクトル（の水平成分）は、正の値などの大きな値であれば（動きベクトルＶＮ）、対象物が近いことを示す（近い対象物ＯＮ、領域９Ａ）。一方で、負の値などの小さな値であれば（動きベクトルＶＦ）、対象物が遠いことを示す（遠い対象物ＯＦ、領域９Ｂ）。

すなわち、算出された動きベクトル（の水平成分）は、対象物の距離が近いか遠いかを示す視差情報（距離情報、視差特徴量）である。

量子化パラメータ決定部１０３は、動きベクトル検出部１０２により検出された視差情報が、比較的近い距離の視差情報（動きベクトルＶＮ）である場合（Ｓ３０２：Ｙｅｓ）、比較的小さな量子化パラメータ１０４ｐＬ（図３における「ＱＰ−所定値」、所定値を差し引いた値）を特定する。また、量子化パラメータ決定部１０３は、検出された視差情報が、比較的遠い距離の視差情報（動きベクトルＶＦ）である場合（Ｓ３０２：Ｎｏ）、比較的大きな量子化パラメータ１０４ｐＳ（所定値を差し引いていない値）を特定する。

つまり、量子化パラメータ決定部１０３は、視差情報が、近い距離の視差情報である場合、小さな量子化パラメータ１０４ｐを特定することにより、小さな量子化パラメータ１０４ｐにより特定される小さな量子化幅を特定する。そして、遠い距離の視差情報である場合、大きな量子化パラメータ１０４ｐＬによる大きな量子化幅を特定する。

こうして、量子化幅を特定する量子化幅データが特定される。量子化幅データは、量子化パラメータ（例えば、Ｈ．２６４／ＡＶＣにおけるＱＰ）でもよい他、後で詳しく説明されるよう、例えば、Ｈ．２６４／ＡＶＣにおける量子化マトリックスであってもよい。

そして、量子化パラメータ決定部１０３は、特定された量子化幅により、先述された、量子化において量子化幅が制御される対象領域（第２領域）の量子化を画像符号化部１０４に行わせる。これにより、量子化パラメータ決定部１０３は、視差情報（が特定する距離）に対応するデータ量の符号化ストリーム１００ｏを画像符号化部１０４に生成させる。

なお、より詳細には、符号化ストリーム１００ｏに含まれる、量子化後のデータは、量子化がされた後に、さらに、エントロピー符号化部２１０等による処理がされた後のデータである。

図５は、視差情報と、量子化パラメータ決定部１０３が量子化を行わせる量子化幅との関係を示す図である。

例えば、視差情報と量子化幅との関係は、実線のデータの関係である。

図５のグラフで、横軸は、動きベクトル検出部１０２により検出される、動きベクトルの水平成分（視差情報）を示す。また、縦軸は、量子化パラメータ決定部１０３が量子化をさせる量子化幅を示す。

視差情報が、閾値１０３ｔより大きく、閾値１０３ｔでの距離よりも近い距離での視差情報である場合（Ｓ３０２：Ｙｅｓ、動きベクトルＶＮ）、その視差情報には、小さな量子化パラメータ１０４ｐＳによる小さな量子化幅が対応する。他方、視差情報が、閾値１０３ｔ以下で、閾値１０３ｔでの距離以上の遠い距離での視差情報である場合（Ｓ３０２：Ｎｏ、動きベクトルＶＦ）、その視差情報には、大きな量子化パラメータ１０４ｐＬによる大きな量子化幅が対応する。

なお、視差情報と量子化幅との関係は、例えば、破線のデータの関係であってもよい。

上限１０３Ｕから下限１０３Ｌまでの範囲においては、破線のデータの視差情報に対応する量子化幅は、視差情報が、より近い（右側の）情報に変化するにつれて、単調に減少する。つまり、この範囲の視差情報の量子化幅は、何れの量子化幅についても、その量子化幅の視差情報の距離より遠い距離の（左側の）視差情報に対応する量子化幅よりも小さく、かつ、より近い距離の（右側の）視差情報に対応する量子化幅より大きい。これにより、中間の大きさの量子化幅が利用されて、より精度のよい適切な量子化幅が利用できる。

しかも、破線のデータにおいては、上限１０３Ｕより右側の（近い距離の）範囲では、視差情報に対応する量子化幅は、視差情報がより右側に変化しても、変化せず、減少しない。同様に、下限１０３Ｌより左側の（遠い距離の）範囲では、視差情報に対応する量子化幅は、視差情報がより左側に変化しても、増加しない。これにより、大き過ぎる量子化幅や、小さ過ぎる量子化幅による弊害が回避できる。例えば、遠い対象物ＯＦよりも更に遠い対象物などの、非常に遠い対象物の画質が、小さ過ぎる量子化幅による量子化により、劣化してしまうことが回避できる。

なお、一例としては、上限１０３Ｕの視差情報での量子化幅は、上記の小さな量子化パラメータ１０４ｐＳでの量子化幅であってもよい。また、下限１０３Ｌの視差情報での量子化幅は、上記の大きな量子化パラメータ１０４ｐＬでの量子化幅であってもよい。

こうして、画像符号化部１０４と、視差情報算出部（動きベクトル検出部１０２）と、量子化幅制御部（量子化パラメータ決定部１０３）とを備えるステレオ画像符号化装置１００が構築される。

前記画像符号化部は、第１の映像（映像９Ｘ）および第２の映像（映像９Ｙ）のうちの前記第１の映像に含まれる第１領域と、前記第１領域に写された対象物（近い対象物ＯＮ、又は、遠い対象物ＯＦ）と同じ対象物が写された、前記第２の映像における第２領域とのうちの少なくとも一方の領域（映像９Ｙにおける前記第２領域）の、量子化前のデータを、量子化後のデータへと量子化する。なお、ここで、第１の映像および第２の映像は、先述のように、一方の目により第１の映像が見られ、他方の目により第２の映像が見られることにより、３Ｄの映像（立体映像）が見せられる２つの映像である。

前記視差情報算出部は、視差情報（動きベクトル、動きベクトルの水平成分）を算出する。ここで、算出される視差情報は、前記第１領域と前記第２領域との間の視差（視方向の角度差の水平成分等）を特定することにより、当該視差に対応する距離を、前記対象物の距離と特定する。

前記量子化幅制御部は、前記視差情報算出部により算出された前記視差情報が、近い第１の距離を特定する場合（Ｓ３０２：ＹＥＳ）、小さな量子化幅で前記画像符号化部に量子化を行わせる。つまり、これにより、大きいデータ量の前記量子化後のデータへと量子化をさせる。他方、遠い第２の距離を特定する場合（Ｓ３０２：Ｎｏ）、大きな量子化幅で量子化をさせる。つまり、これにより、小さいデータ量の前記量子化後のデータへと量子化させる。

これにより、近くて、重要である領域（注視領域）の量子化では、大きいデータ量への量子化がされて（Ｓ３０２：Ｙｅｓ）、画質が高くできる。しかも、遠くて、重要ではない領域（非注視領域）の量子化では、小さいデータ量への量子化がされ、符号化効率が向上できる。これにより、高い画質と、高い符号化効率とが両立できる。

以上、実施の形態について説明したが、本発明はこれに限定されるものではない。

例えば、実施の形態においては、動き補償に用いる動きベクトルに応じて、量子化パラメータを変更する方法を例に挙げた。しかし、本発明は、これに限るものではなく、例えば、入力画像メモリに入力される前に第１の映像信号と第２の映像信号との間の視差（視差情報）を検出する前処理部（後述される、動きベクトルとは異なる別の視差情報を検出する視差情報検出部（第２の視差情報算出部）を参照）を設けてもよい。そして、その検出の結果に応じて量子化パラメータを変更させてもよい。なお、この場合の方法の一例としては、例えば第１の映像信号と第２の映像信号を、例えば１／１６などに縮小した画像に対して、動きベクトル検出を行い、算出された動きベクトルから視差を判断するという方法が挙げられる。なお、他の方法を用いて、視差を示す動きベクトルを算出してもよい。

なお、上述された前処理部について、後でより詳しく述べられる。

また、実施の形態においては、視差特徴量が、予め定められた閾値以上であると判断された場合に、量子化パラメータを小さくする方法を例に挙げたが、これに限るものではない。つまり、例えば、視差特徴量が予め定められた閾値以下であると判断された場合に、量子化パラメータを小さくしてもかまわない。このとき、視差特徴量は、より小さな値であるほど、その視差特徴量が得られた領域（領域９Ａ、領域９Ｂなど）が、より近い距離の領域であることを示す。

また、実施の形態においては、視差特徴量が予め定められた閾値以上であると判断された場合のみ、量子化パラメータを変更する方法を例に挙げたが、これに限るものではない。つまり、例えば、視差特徴量の値に比例させて量子化パラメータを変更させてもかまわない（図５の破線のデータ参照）。また、その場合の量子化パラメータの変更量に上限・下限を設けてもかまわない。

また、実施の形態においては、圧縮符号化方式としてＨ．２６４を用いた場合を例に挙げたが、これに限るものではない。つまり、例えば、他の圧縮符号化方式に対して本発明を適用してもよい。

以上のように、ステレオ画像符号化装置１００は、第１の映像信号に含まれる第１のフレームと、第２の映像信号に含まれるフレームのうち、第１のフレーム（映像９Ｙ）と、第１のフレームが撮影された時刻と同時刻に撮影された第２のフレーム（映像９Ｘ）との間の動きベクトルに応じて、符号化で用いる量子化パラメータを決定する。このため、適切な量子化パラメータが決定されて、符号化した画像の画質および符号化効率を向上させることが可能となる。

なお、本発明によれば、実施の形態における各構成を備えるステレオ画像符号化装置１００を提供することができるばかりでない。つまり、例えば、ステレオ画像符号化装置が具備する各構成の処理を、含まれる各ステップとするステレオ画像符号化方法や、ステレオ画像符号化装置が具備する各構成を備えるステレオ画像符号化集積回路、およびステレオ画像符号化方法を実現することができるステレオ画像符号化プログラムなどを提供することも可能である。

そして、このステレオ画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

また、ステレオ画像符号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成しても良いし、複数チップで構成しても良い。例えば、メモリ以外の機能ブロックを１チップＬＳＩで構成しても良い。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。

また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としても良い。

図６は、ビデオカメラ１００Ａを示す図である。

また、ステレオ画像符号化装置１００は、具体的には、図６のビデオカメラ１００Ａであってもよい。なお、ステレオ画像符号化装置１００は、ビデオカメラ１００Ａの全体ではなく、例えば画像処理装置１００Ｂなどの、ビデオカメラ１００Ａの一部であってもよい。

ステレオ画像符号化装置１００は、光学系１００Ｌ（図４）と、画像処理装置１００Ｂとを備える。

画像処理装置１００Ｂは、演算回路、記憶装置などを備え、情報処理を行う情報処理装置である。

なお、画像処理装置１００Ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有したコンピュータを含み、画像処理装置１００Ｂにより行われる情報処理の一部又は全部は、このコンピュータにより実行されてもよい。

画像処理装置１００Ｂは、入力画像メモリ１０１、画像符号化部１０４、動きベクトル検出部１０２、量子化パラメータ決定部１０３などを備え、つまり、これら入力画像メモリ１０１等の機能を有する。

光学系１００Ｌは、映像９Ｘと映像９Ｙとを得るための光を取得する光学系である。光学系１００Ｌは、具体的には、例えば、１つのレンズに入った光を、左目用の映像９Ｘを得るための光と、右目用の映像９Ｙを得るための光とに分離する。これにより、映像９Ｘおよび映像９Ｙの２つの映像を１つの光学系により結像する。つまり、光学系１００Ｌは、例えば、単眼の光学系であってもよい。ビデオカメラ１００Ａ（ステレオ画像符号化装置１００）は、例えば、このような単眼の光学系１００Ｌを備える、単眼の３Ｄビデオカメラであてもよい。

また、このステレオ画像符号化装置（ステレオ画像符号化装置１００）において、前記第１の映像信号（第１の映像信号１０１ｉＸ）は、左目用の映像信号ではなく、右目用の映像信号であってもよい。そして、第２の映像信号（第２の映像信号１０１ｉＹ）は、右目用の映像信号ではなく、左目用の映像信号であってもよい。

また、このステレオ画像符号化装置１００において、いわゆるレート制御が行われてもよい。そして、大きな第２の量子化パラメータ（量子化パラメータ１０４ｐＬ）は、目標量のデータ量を達成するために、レート制御で選択された量子化パラメータと同じ量子化パラメータであってもよい。そして、小さな第１の量子化パラメータ（量子化パラメータ１０４ｐＳ）は、レート制御において選択された量子化パラメータから、所定値（図３のＳ３０３参照）が減じられた量子化パラメータであってもよい。

また、レート制御では、量子化パラメータ決定部により量子化パラメータが決定された後に、レート制御における制御値を決定してもよい。このとき、決定される制御値は、例えば、決定された量子化パラメータの下で、目標値が達成される値であってもよい。

また、このステレオ画像符号化装置において、量子化パラメータ決定部は、マクロブロックに含まれる何れの領域の量子化でも用いられる、共通の量子化パラメータを決定してもよい。そして、画像符号化部は、マクロブロックの何れの領域の量子化においても、決定された共通の量子化パラメータにより特定される量子化幅で、量子化をしてもよい。

このとき、例えば、量子化パラメータ決定部は、Ｓ３０２で、第１領域と第２領域との間の視差情報が、近い距離の視差情報（動きベクトルＶＮ）であっても、次の場合にのみ、小さい第１の量子化パラメータ（量子化パラメータ１０４ｐＳ）を決定してもよい。つまり、マクロブロックに含まれる、その第２領域以外の何れの他の領域についての視差情報も、近い距離の視差情報（動きベクトルＶＮ）である場合にのみ、小さい第１の量子化パラメータ（量子化パラメータ１０４ｐＳ）を、共通の量子化幅として決定してもよい（Ｓ３０２：Ｙｅｓ）。そして、何れかの他の領域の視差情報が、遠い距離の視差情報（動きベクトルＶＦ）である場合には、大きい第２の量子化パラメータ（量子化パラメータ１０４ｐＬ）が共通の量子化幅として決定されてもよい（Ｓ３０２：Ｎｏ）。

なお、第２領域は、例えば、いわゆるサブブロック又は探索ブロックであってもよい。

また、このステレオ画像符号化装置において、量子化パラメータ決定部は、先述のように、量子化幅を特定する量子化パラメータを決定することにより、量子化幅を特定する。つまり、量子化パラメータ決定部は、量子化幅を特定する量子化幅特定部の一例でもよい。

そして、このステレオ画像符号化装置は、Ｈ．２６４規格とは一部又は全部が異なってもよい。

つまり、量子化幅特定部は、例えば、映像（映像９Ｙ等）に含まれる領域、または、領域が含まれるマクロブロックごとに、その領域（又はマクロブロック）の量子化マトリックスを選択してもよい。これにより、その量子化マトリックスにより特定される量子化幅が量子化幅特定部により特定される。

具体的には、量子化幅特定部は、視差情報に対応する適切な量子化幅が特定される量子化マトリックスを特定してもよい。つまり、これにより、特定された量子化マトリックスに対応する適切な量子化幅を選択してもよい。

なお、量子化幅特定部は、より具体的には、複数の量子化マトリックスのうちから、適切な量子化マトリックスを特定してもよい。

このように、量子化幅決定部は、量子化幅を特定する量子化幅特定データ（量子化パラメータおよび量子化マトリックスのうちの少なくとも一方）を特定することにより、特定された量子化幅特定データにより特定される量子化幅で、第２領域の量子化をさせる。

また、このステレオ画像符号化装置において、例えば、前記視差情報算出部は、前記第１のフレーム（ピクチャＢ２）の複数の領域のうちから、前記第２のフレーム（ピクチャＳ３）の第２領域に撮影された対象物（対象物ＯＦ又は対象物ＯＮ）と同じ前記対象物が撮影された第１領域を検索してもよい。そして、検索された前記第１領域への、前記第２領域からの動きベクトルを算出してもよい。そして、前記画像符号化部は、前記視差情報算出部により前記動きベクトルが算出された前記第１領域（ピクチャＢ２）を参照した符号化を前記第２領域（ピクチャＳ３）に行ってもよい。そして、前記視差情報は、前記視差情報算出部により算出された前記動きベクトルの水平成分でもよい。そして、前記量子化パラメータ決定部は、前記動きベクトルの前記水平成分に基づいて、前記量子化パラメータを決定してもよい。そして、前記画像符号化部は、前記第２のフレーム（ピクチャＳ３）の前記２領域を符号化する際に、前記量子化パラメータ決定部により決定された前記量子化パラメータに基づいて、当該第２領域の量子化を行ってもよい。

これにより、動きベクトル（の水平成分）が視差情報として利用されて、動きベクトルではない別のデータを視差情報として別途用意する必要がなく、簡単な処理で、高い画質と、高い符号化効率とが両立できる。

一方、視差情報は、上記の動きベクトルではない別のデータであってもよい。

そして、量子化がされる際の量子化幅が制御される領域は、前記第２領域（映像９Ｙ（ピクチャＳ３）の領域）ではなく、前記第１領域（映像９Ｘ（ピクチャＢ２）の領域）であってもよい。

つまり、例えば、このステレオ画像符号化装置において、前記画像符号化部では、前記第２のフレーム（ピクチャＳ３）を符号化するよりも先に、前記第１のフレーム（ピクチャＢ２）を符号化してもよい。そして、前記視差情報算出部（第２の視差情報算出部）では、前記画像符号化部で、前記第１のフレーム（ピクチャＢ２）が符号化されるよりも先に、前記視差情報を算出してもよい。そして、前記量子化パラメータ決定部では、前記視差情報算出部で算出された前記視差情報に基づいて、前記第１のフレーム（ピクチャＢ２）が符号化されるよりも先に、前記量子化パラメータを決定してもよい。そして、前記画像符号化部では、前記第１のフレーム（ピクチャＢ２）に含まれる第１領域を、決定された前記量子化パラメータに基づいて量子化してもよい。

そして、より具体的には、前記画像符号化部で、前記第１のフレーム（ピクチャＢ２）が符号化されるよりも先に、前記第１のフレーム（ピクチャＢ２）と前記第２のフレーム（ピクチャＳ３）とを入力バッファ（例えば、入力画像メモリ１０１）に記憶する記憶ステップがあってもよい。そして、前記視差情報算出部では、前記入力バッファに記憶された前記第１のフレームと前記第２のフレームとを用いて、前記第１のフレーム（ピクチャＢ２）が符号化されるよりも先に前記視差情報を算出してもよい。

これにより、第１のフレーム（映像９Ｘ、ピクチャＢ２）の量子化で、適切な量子化パラメータが利用でき、十分に高い画質が得られ、また、十分に高い符号化効率が得られる。

なお、このようにして、視差情報（図１の動きベクトル１０２ｇ）が、近い距離での視差、つまり、大きな視差での視差情報（図４の動きベクトルＶＮ）である場合には（図９の領域９Ａを参照）、第１の符号化条件（量子化パラメータ１０４ｐＳ（図４）、小さな量子化幅、小さなＱＰ値）が決定されてもよい。

そして、遠い距離での視差、つまり、小さな視差での視差情報（動きベクトルＶＦ）である場合には（図９の領域９Ｂを参照）、第２の符号化条件（量子化パラメータ１０４ｐＬ、大きな量子化幅、大きなＱＰ値）が決定されてもよい。

ここで、例えば、第１の符号化条件は、その符号化条件での符号化がされれば、符号化がされた符号量が比較的大きい符号化条件（比較的小さな量子化幅、ＱＰ値など）である。

そして、例えば、第２の符号化条件は、その符号化条件での符号化がされれば、符号化がされた符号量が比較的小さい符号化条件（比較的大きな量子化幅、ＱＰ値など）である。

つまり、こうして、視差情報の視差が、大きな視差であるほど、符号量が大きくなる符号化条件が決定され、符号量がより大きくなる制御がされてもよい。

なお、第１の符号化条件での符号化は、第１の方式での符号化である一方で、第２の符号化条件での符号化は、第２の方式での符号化でもよい。

つまり、それぞれの部分（図９の領域９Ａ、９Ｂなどを参照）が、その部分における視差の視差情報に対応した、適切な符号化条件で符号化されてもよい。

また、例えば、第１の符号化条件での符号化では、第１の量子化マトリックスでの符号化がされることにより、符号化された符号量が大きくてもよい。

そして、第２の符号化条件での符号化では、第１の量子化マトリックスとは異なる第２の量子化マトリックスによる符号化がされることにより、符号量が小さくされてもよい。

なお、本技術における動作は、例えば、その動作が、解析ツールによって解析されることにより特定される符号量が、上述されたような符号量である動作などである。

なお、本技術における符号化は、例えば、ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：多視点映像符号化）における符号化などでもよい。

また、例えば、本技術においては、サイドバイサイド方式が用いられてもよい。

つまり、第１の映像信号１０１ｉＸ（図１）の第１のピクチャ（図９の映像９Ｘを参照）は、１つの映像における、左側半分の画像などの、その映像のうちの第１の部分の画像でのピクチャでもよい。

そして、第２の映像信号１０１ｉＹの第２のピクチャ（図９の映像９Ｙを参照）は、その１つの映像における、右側半分の画像などの、第２の部分の画像などでもよい。

すなわち、例えば、第１のピクチャは、その第１の部分の画像が、水平方向に２倍に拡大された画像のピクチャなどでもよい。

そして、第２のピクチャは、第２の部分の画像が、水平方向に２倍に拡大された画像のピクチャなどでもよい。

なお、同様に、トップ・アンド・ボトム方式が用いられてもよいし、その他の方式が用いられてもよい。

また、例えば、ステレオ画像符号化装置１００は、ブルーレイレコーダ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）レコーダなどの、記録媒体に記録された第１の映像信号および第２の映像信号（図１の第１の映像信号１０１ｉＸ、１０１ｉＹを参照）を再生する再生装置などでもよい。

そして、例えば、ステレオ画像符号化装置１００において、再生される第１の映像信号および第２の映像信号の間の視差が補正されてもよい。

そして、この補正のために、補正がされる視差の視差情報を算出する算出部が設けられてもよい。

そして、このような算出部により算出された視差情報に対応する符号化条件での符号化が、そのＤＶＤレコーダ等（ステレオ画像符号化装置１００）において、行われてもよい。

なお、このように、例えば次の動作が行われてもよい。なお、次の動作は、例えば、ある局面でのみ行われてもよい。

つまり、互いに異なる２つの撮影位置ＰＸ、ＰＹ（図４）で撮像された２つの映像信号である第１の映像信号１０１ｉＸおよび第２の映像信号１０１ｉＹ（図１）が取得されてもよい（例えば、図１の取得部１０１ｇ）。

そして、取得された２つの映像信号１０１ｉＸ、１０１ｉＹの間の視差に関する視差情報（図１の視差情報１０２ｇを参照）が算出されてもよい（動きベクトル検出部１０２）。

そして、算出された視差情報に基づいて、取得された２つの映像信号１０１ｉＸ、１０１ｉＹによる立体映像における部分（図９の領域９Ａを参照）の、現在（例えば、図７のピクチャＢ２、Ｓ３の時刻）または過去（例えば、ピクチャＩ０、Ｓ１の時刻）の（うちの予め定められた一方における）視差が大きいほど、その部分（領域９Ａ）の符号量が大きくなるように、符号化条件（図１の量子化パラメータ１０４ｐ）が決定されてもよい（量子化パラメータ決定部１０３）。

つまり、例えば、視差情報により示される、当該一方の視差に基づいて、この決定がされてもよい。

そして、取得された２つの映像信号１０１ｉＸ、１０１ｉＹによる立体映像の、決定された符号化条件で符号化された立体映像信号（符号化ストリーム１００ｏ）が生成されてもよい（画像符号化部１０４）。

これにより、視差が大きく、注視され易い部分（領域９Ａを参照）の符号量は大きくされ、画質が高くできる。しかも、視差が小さく、注視され難い部分（領域９Ｂを参照）の符号量は小さくされ、符号量が小さくできる。これにより、高い画質と小さい符号量とが両立できる。

なお、具体的には、算出される視差情報の視差が大きい第１の部分（領域９Ａを参照）は、撮影がされる際における、フォーカスポイントの部分ではない、その他の部分でもよい。

そして、大きい視差の第１の部分は、その他の部分ではあるものの、画像の（大きな）ボケがなくてもよい。

そして、算出される視差情報の視差が小さい第２の部分（領域９Ｂを参照）は、撮影がされる際における、フォーカスポイントの部分もよい。

そして、小さい視差の第２の部分は、フォーカスポイントの部分で、第１の部分と同様、画像の（大きな）ボケがなくてもよい。

つまり、例えば、撮影がされる際の被写界深度が、このように、第１の部分も、第２の部分も、ボケがない部分である程度に、比較的深い被写界深度でもよい。

なお、例えば、撮影をする撮影装置が、一眼レフのカメラではないカメラ、または、民生用のムービーカメラなどであるために、このように、被写界深度が深くてもよい。

そして、第１の部分は、画像のボケがなく、かつ、視差が大きくて、近い距離の部分であるために、比較的注視され易くてもよい。

一方で、第２の部分は、画像のボケがないものの、視差が小さくて、遠い距離の部分であり、比較的注視され難くてもよい。

これにより、近い距離の第１の部分が、単に、フォーカスポイントの部分ではない、その他の部分であるというだけで、注視され易いにも関わらず、小さい符号量の部分にされてしまうのが回避される。つまり、小さい符号量の部分にされて、画質が低くなってしまうのが回避されて、確実に、画質がより高くできる。

また、第２の部分が、単に、フォーカスポイントの部分であるというだけで、注視され難いにも関わらず、大きい符号量の部分にされるのが回避される。つまり、大きい符号量の部分にされてしまうのが回避され、確実に、符号量が小さくできる。

つまり、第１の部分は、当該第１の部分が、フォーカスポイントの部分である場合にも、その他の部分である場合にも、何れの場合にも、大きな符号量の第１の符号化条件で符号化されてもよい。

そして、第２の部分は、当該第２の部分が、フォーカスポイントの部分である場合にも、その他の部分である場合にも、何れの場合にも、小さな符号量の第２の符号化条件で符号化されてもよい。

より具体的には、例えば、算出された視差情報の視差が大きく、大きな符号量の第１の符号化条件で符号化される、注視され易い第１の部分は、撮影位置ＰＸ、ＰＹ（図４）からの距離が比較的近い（短い）距離である部分である。

そして、このような近い距離の部分は、例えば、撮影された風景のうちの、建物、人物などの前景の部分などでもよい。

そして、例えば、視差が小さく、小さな符号量の第２の符号化条件で符号化される、注視され難い第２の部分は、上述された、前景における距離よりも遠い距離における、背景の部分などでもよい。

なお、このような、背景の距離は、例えば、撮影における無限遠の距離でもよい。

なお、具体的には、例えば、算出される視差情報は、その視差情報の視差を特定する情報、その視差を示す情報などである。

そして、例えば、算出される視差情報は、その符号化条件に基づいて決定された符号化条件で符号化される部分の視差を特定してもよい。

そして、第１の映像信号１０１ｉＸにおける第１のピクチャＢ２（図７）における第１の領域と、第２の映像信号１０１ｉＹにおける、第１のピクチャＢ２の時刻と同時刻の第２のピクチャＳ３における第２の領域とがある。つまり、決定された符号化条件で符号化される部分は、それら第１、第２の領域のうちの、第１の領域のみを含んでもよいし、第２の領域のみを含んでもよい。

また、決定された符号化条件で符号化される部分は、上述された第１の領域の少なくとも一部と、第２の領域の少なくとも一部との両方を含んでなる領域などでもよい。

さらに具体的には、例えば、第２の映像信号１０１ｉＹの第２のピクチャＳ３における第２の領域に対して、第１の映像信号１０１ｉＸの、第２のピクチャＳ３の時刻と同時刻の第１のピクチャＢ２における第１の領域を参照した符号化が行われてもよい（画像符号化部１０４）。

そして、上述された第１の領域の位置は、上述された第２の領域の位置から、動きベクトルにより示される動きをした位置でもよい。

そして、視差情報として、上述の動きベクトルが算出されてもよい（動きベクトル検出部１０２）。

これにより、算出される視差情報が、その動きベクトルに基づいて、上述したような、参照を伴う符号化がされる動きベクトルである。これにより、この動きベクトルが、視差情報に流用されて、新しい処理の追加が不要などで、処理が簡単にできる。

さらに具体的には、例えば、現在の時刻（図７のピクチャＢ２、Ｓ３の時刻）における、決定された符号化条件での符号化がされる部分の視差（ピクチャＢ２およびＳ３の間の視差）は、過去の時刻（例えば、ピクチャＩ０、Ｓ１の時刻）における、当該部分（と同じ部分）での視差（ピクチャＩ０、Ｓ１の間での視差）と同じであるか、当該過去の視差の予め定められた近傍内の視差でもよい。

そして、上述された、過去の視差（ピクチャＩ０、Ｓ１の間での視差）の視差情報が算出されてもよい（動きベクトル検出部１０２）。

なお、このような、過去の視差の視差情報の算出は、例えば、それら、過去におけるピクチャＩ０、Ｓ１が符号化される際に行われてもよい。

そして、算出された、過去の視差情報に基づいて、現在の符号化（ピクチャＢ２、Ｓ３の符号化）での符号化条件（量子化パラメータ１０４ｐなど）が決定されてもよい（量子化パラメータ決定部１０３）。

つまり、例えば、上述された、第１のピクチャＢ２は、いわゆるベースビューのピクチャなどである。そして、第２のピクチャＳ３は、いわゆるディペンデントビューのピクチャなどである。

そして、このように、ディペンデントビューの第２のピクチャＳ３だけでなく、ベースビューの第１のピクチャＢ２もあるにも関わらず、適切な動作がされる。

つまり、上述のようにして、過去の視差の視差情報が用いられることにより、ディペンデントビューの第２のピクチャＳ３だけでなく、ベースビューにおける第１のピクチャＢ２でも、視差に基づいた適切な符号化条件での、適切な符号化ができる。これにより、より確実に、適切な符号化ができる。

また、例えば、算出された、現在の時刻（ピクチャＢ２、Ｓ３の時刻）における視差の視差情報に基づいて、現在の時刻のピクチャ（ピクチャＢ２、Ｂ３）の符号化における符号化条件が決定されてもよい（量子化パラメータ決定部１０３）。

これにより、比較的精度良い、現在の視差情報に応じた動作がされて、より確実に、適切な動作ができる。

しかも、過去に算出された視差情報が、現在利用されて、複雑な処理がされてしまうことが回避され、処理が簡単にできる。

図１１は、前処理部９９などを示す図である。

上述のように、第１の前記映像信号１０１ｉＸの第１のピクチャＢ２の符号化と、第２の映像信号１０１ｉＹの、当該第１のピクチャＢ２の時刻と同時刻の第２のピクチャＳ３の符号化とが行われてもよい。

なお、少なくともこれらの符号化を行う符号化部１０４ｃ（図１１）が設けられてもよい。

つまり、この符号化部１０４ｃは、例えば、図１の画像符号化部１０４を含んでもよいし、画像符号化部１０４の一部または全体などでもよい。

そして、これらの２つのピクチャＢ２、Ｓ３の符号化のうちの何れの符号化がされるよりも前に、これら２つのピクチャＢ２、Ｓ３の処理をする前処理部９９（図１１）が設けられてもよい。

そして、マッチング処理部９９Ｐが、この前処理部９９に含まれてもよい。

そして、このマッチング処理部９９Ｐにより、上述された、第１のピクチャＢ２および第２のピクチャＳ３の間の視差の視差情報が算出されてもよい。そして、その算出が、第１のピクチャＢ２および第２のピクチャＳ３の何れの符号化がされるよりも前に行われてもよい。

これにより、ベースビューの第１のピクチャＢ２と、ディペンデントビューの第２のピクチャＳ３との何れでも、視差情報に基づいた適切な符号化が可能で、より確実に、適切な符号化ができる。

しかも、前処理部９９において、視差情報の算出がされ、前処理部９９における、視差情報の算出の処理以外の他の処理で生成されたデータが流用されるなどで、視差情報の算出の処理が、より簡単にできる。

なお、例えば、マッチング処理部９９Ｐにより算出された視差情報１０２ｇが、量子化パラメータ決定部１０３により取得されてもよい。そして、取得された視差情報１０２ｇから量子化パラメータ決定部１０３により決定された符号化条件（量子化パラメータ１０４ｐなど）による処理が、符号化部１０４ｃにより行われてもよい。

なお、量子化パラメータ決定部１０３は、符号化部１０４ｃの一部などでもよいし、符号化部１０４ｃと前処理部９９との間などの、符号化部１０４ｃの外部に設けられてもよい。

また、例えば、前処理部９９においては、第１のピクチャＢ２と、第２のピクチャＳ３との縮小画像９９ａ、９９ｂ（図１１）が生成されてもよい。

そして、生成された、それら２つの縮小画像９９ａ、９９ｂから、マッチング処理部９９Ｐにより、それら２つの縮小画像９９ａ、９９ｂが算出された第１、第２のピクチャＢ２、Ｓ３の間の視差情報１０２ｇが算出されてもよい。

なお、さらに具体的には、例えば、第１の映像信号１０１ｉＸの映像を撮像して、第１の映像信号１０１ｉＸを生成する撮像部１０１ｍＸ（図１１）があってもよい。

そして、撮像部１０１ｍＸにより、当該撮像部１０１ｍＸの方向および位置などが変更された後において、変更された後の方向等での映像の第１の映像信号１０１ｉＸが生成されてもよい。

そして、前処理部９９により、生成された２つの縮小画像９９ａ、９９ｂから、撮像部１０１ｍＸの、適切な方向等が特定されてもよい。そして、前処理部９９により、撮像部１０１ｍＸの方向等を、特定された適切な方向にさせる制御が行われてもよい。

つまり、例えば、その制御の制御信号が、撮像部１０１ｍＸへと出力されることにより、その制御が行われてもよい（図１１を参照）。

なお、この制御は、例えば、いわゆるフィードバック制御などである。

そして、例えば、この制御が、生成された２つの縮小画像９９ａ、９９ｂから算出された情報に基づいた制御でもよい。

つまり、マッチング処理部９９Ｐにより算出される視差情報１０２ｇ（図１１）は、例えば、上述された、その情報に基づいて、撮像部１０１ｍＸの方向等の制御が行われる情報などでもよい。

これにより、適切な視差情報が算出されるにも関わらず、単に、制御に用いられる情報が流用されるだけで足りて、行われる処理が、より簡単にできる。

なお、縮小画像９９ａ、９９ｂのそれぞれは、例えば、大きさが、１／４に縮小された画像などでもよい。

また、第２の映像信号１０１ｉＹを生成する撮像部１０１ｍＹ（図１１）に対しても、上述された制御と同様の、算出された情報に基づいた制御などが行われてもよい。

また、例えば、決定された符号化条件（図１の量子化パラメータ１０４ｐ）で、一方の映像信号（例えば第１の映像信号１０１ｉＸ）における一方の領域（例えば、ベースビューの第１のピクチャＢ２における第１の領域）と、他方の映像信号（第２の映像信号１０１ｉＹ）における他方の領域（ディペンデントビューの第２のピクチャＳ３における第２の領域）とのうちの他方の領域（第２の領域）のみが符号化されてもよい。

つまり、例えば、決定された符号化条件で、一方の領域（ベースビューの第１のピクチャＢ２における第１の領域）は、符号化されなくてもよい。

そして、決定された符号化条件での符号化がされる他方の領域（ディペンデントビューの第２の領域）が、決定された符号化条件で符号化された符号量は、一方の領域（ベースビューの第１の領域）が符号化された符号量との間の差が、（第３の閾値よりも）小さい符号量であってもよい。

これにより、一方の領域での符号量と、他方の領域での符号量との間の差が大きくて、ベースビューおよびディペンデントビューの間での、符号量のバランスが悪く、画質が低くなってしまうのが回避される。つまり、符号量の差が小さくされ、符号量のバランスが良くされて、画質が高くできる。

そして、より具体的には、一方の映像信号（ベースビューの第１の映像信号１０１ｉＸ）の符号化では、その符号化条件での符号化がされると、符号化された符号量が比較的大きい第１の符号化条件で符号化がされてもよい。

そして、他方の映像信号（ディペンデントビューの第２の映像信号１０１ｉＹ）の符号化では、算出された視差情報の視差が、近い距離における、大きな視差である場合には（領域９Ａを参照）、一方の映像信号での符号化での第１の符号化条件と同じ、大きな符号量の第１の符号化条件での符号化がされてもよい。

そして、視差が、遠い距離における、小さな視差である場合には（領域９Ｂを参照）、第１の符号化条件での符号量よりも小さい符号量の第２の符号化条件での符号化がされてもよい。

これにより、ディペンデントビューの符号化で、視差が大きい場合には、小さい符号量の第２の符号化条件での符号化がされて、生成される立体映像信号の符号量（データ量）が小さくできる。

なお、このような小さなデータ量は、例えば、ユーザなどにより、生成される立体映像信号のレートとして指定された、比較的小さいレートを実現するデータ量などである。

しかも、ディペンデントビューの符号化では、視差が、大きな視差である場合には、大きな符号量の第１の符号化条件で符号化され、十分に画質が高くできる。

しかも、ディペンデントビューの、他方の映像信号の符号化で、視差が、大きな視差である場合には、ベースビューの、一方の映像信号の符号化での第１の符号化条件と同じ第１の符号化条件での符号化がされ、上述された、符号量の差（先述）が小さくされて、画質がより大幅に、高い画質にできる。

図１２は、レート制御部１０４ｗなどを示す図である。

なお、図示の便宜上、図１２では、レート制御部１０４ｗは、画像符号化部１０４の内部に描かれた。レート制御部１０４ｗは、画像符号化部１０４の外部にあってもよいし、内部にあってもよい。

そして、例えば、レート制御部１０４ｗにより、生成される立体映像信号（符号化ストリーム１００ｏ）のレートを、ターゲットレートにさせる制御が行われてもよい。

なお、この制御の処理（の少なくとも一部）は、例えば、公知の、レート制御の技術を用いた処理などでもよい。

そして、大きい符号量の第１の符号化条件での符号化は、ターゲットレートとして、比較的高いレートが設定されて行われて、符号化された符号量が比較的大きい符号化で、もよい。

そして、小さい符号量の第２の符号化条件での符号化は、比較的低いレートが設定されて行われて、符号量が比較的小さい符号化でもよい。

つまり、例えば、算出された視差情報１０２ｇ（図１２）の視差が、近い距離での視差である場合には、ターゲットレートに、高いレートが設定されて、符号量が大きくされてもよい。

そして、視差が、遠い距離での視差である場合には、低いレートが設定されて、符号量が小さくされてもよい（符号量制御部９８）。

つまり、例えば、先述された符号化条件は、このようなターゲットレートなどでもよい。

なお、単なる細部においては、公知の技術による動作が行われてもよいし、更なる改良発明が適用された動作が行われてもよいし、その他の動作が行われてもよい。何れの動作が行われるケースも、本技術の範囲に属する。

なお、先述された、２つの映像信号１０１ｉＸ、１０１ｉＹをそれぞれ取得する取得部１０１ｇ（図１）の少なくとも一部は、例えば、図１の入力画像メモリ１０１などでもよい。

なお、このような、ステレオ画像符号化の技術分野においては、現在規格化が進められている。このため、この規格化に伴って、現在には比較的一般的ではない用語が、将来には、比較的一般的な用語になることが考えられる。この明細書の用語から、現在は比較的一般的ではないが、将来比較的一般的になった用語が自明である場合には、適宜、それらの用語が置き換えられた理解がされてもよい。例えば、元の用語が、その元の用語から自明な用語へと将来補正されることも考えられる。

なお、上記の説明をまとめると、次の通りである。つまり、こうして、先述された「取得部」の一例として、図１の「取得部１０１ｇ」などが開示される。また、「算出部」の一例として、「動きベクトル検出部１０２」などが開示される。また、「決定部」の一例として、「量子化パラメータ決定部１０３」などが開示される。また、「生成部」の一例として、「画像符号化部１０４」などが開示される。

以上、本発明について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。この明細書に記載された実施の形態は、単なる一例であり、この明細書に記載された実施の形態とは異なる他の形態で実施されてもよい。なお、本発明は、集積回路として実現したり、上記の装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明に係るステレオ画像符号化装置およびステレオ画像符号化方法は、より高画質、またはより高効率に、Ｈ．２６４などの圧縮符号化方式による映像の符号化を実現することができる。このため、パーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダおよびカメラ付き携帯電話機等に適用できる。

１００ ステレオ画像符号化装置
１００ｏ 符号化ストリーム
１０１ 入力画像メモリ
１０１ｉＸ 映像信号
１０１ｉＹ 映像信号
１０２ 動きベクトル検出部
１０２ｇ 視差情報
１０３ 量子化パラメータ決定部
１０４ 画像符号化部
１０４ｐ 量子化パラメータ
１０５ 参照画像メモリ
２０１ 面内予測部
２０２ 動き補償部
２０３ 予測モード判定部
２０４ 差分演算部
２０５ 直交変換部
２０６ 量子化部
２０７ 逆量子化部
２０８ 逆直交変換部
２０９ 加算部
２１０ エントロピー符号化部

Claims (2)

1. 互いに異なる２つの位置で撮像された２つの映像信号を取得する取得部と、
   取得された２つの前記映像信号の間の視差に関する視差情報を算出する算出部と、
   算出された前記視差情報に基づいて、取得された２つの前記映像信号による立体映像における部分の、現在または過去の前記視差が大きいほど、その部分の符号量が大きくなるように、符号化条件を決定する決定部と、
   取得された２つの前記映像信号による前記立体映像の、決定された前記符号化条件で符号化された立体映像信号を生成する生成部とを備え、
   前記生成部は、決定された前記符号化条件で、一方の前記映像信号における一方の領域と、他方の前記映像信号における他方の領域とのうちの前記他方の領域の符号化のみを行い、
   前記他方の領域が、決定された前記符号化条件で符号化された符号量は、前記一方の領域が符号化された符号量との間の差が、第３の閾値より小さい符号量である
   ステレオ画像符号化装置。
2. 互いに異なる２つの位置で撮像された２つの映像信号を取得する取得ステップと、
   取得された２つの前記映像信号の間の視差に関する視差情報を算出する算出ステップと、
   算出された前記視差情報に基づいて、取得された２つの前記映像信号による立体映像における部分の、現在または過去の前記視差が大きいほど、その部分の符号量が大きくなるように、符号化条件を決定する決定ステップと、
   取得された２つの前記映像信号による前記立体映像の、決定された前記符号化条件で符号化された立体映像信号を生成する生成ステップとを含み、
   前記生成ステップでは、決定された前記符号化条件で、一方の前記映像信号における一方の領域と、他方の前記映像信号における他方の領域とのうちの前記他方の領域の符号化のみを行い、
   前記他方の領域が、決定された前記符号化条件で符号化された符号量は、前記一方の領域が符号化された符号量との間の差が、第３の閾値より小さい符号量である
   ステレオ画像符号化方法。

Images