JP4665166B2 - ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム - Google Patents

Description

本発明は、ステレオ画像を処理するステレオ画像処理装置およびその方法、ならびにステレオ画像処理用プログラムに関する。

両眼の視差を利用して平面画像を立体画像として認識させる方法には、裸眼による方法として、平行法、交差法などがある。平行法は、図１４に示すように、それぞれ適当な視差をもつ左右２つの画像（以下「ステレオ画像」と呼ぶ。）１１４Ｒ，１１４Ｌのうちの右側の画像１１４Ｒを右眼で、左側の画像１１４Ｌを左眼で観察する方法であり、交差法は、図１５に示すように、右側の画像１１４Ｒを左眼で、左側の画像１１４Ｌを右眼で観察する方法である。

このようなステレオ画像を撮像する方法には、人間の目の間隔と同等の距離を置いて２つのレンズおよび撮像素子を左右に並べて配置し、これら２つの撮像系で左右の画像を平行法または交差法にて同時に撮像する方法などがあり、既にこのような仕組みを採用したデジタルスチルカメラに関する発明が公開されている（例えば特許文献１）。また、このように複数の撮像系を用いたカメラを用いなくても、一度撮像を行った位置からカメラを水平方向に人間の目の間隔と同等の距離だけ移動させ、その位置から同じ被写体をもう一度撮像したり、複数のカメラを２台用いることなどによって、ステレオ画像となる２つの画像を得ることが可能である。

また、上記の特許文献１などには、左右それぞれの画像データに個別に、ステレオ画像であるという情報や、左右の識別情報などをヘッダ情報として記録しておくことで、記録再生装置や伝送装置などでの処理時に、左右の画像データが１つの画像取り扱い単位として扱われるようにして、誤って左右の画像データのうち一つが消去したり、伝送したりされる不具合を防止することなどが記載されている。
特開平５−３０５３８号公報

左右それぞれの画像データのファイルのヘッダ情報として、ステレオ画像であることを示す識別情報や左右の識別情報の他、水平視点数（画像数）、水平シフト量などの、立体視表示制御のためのステレオ情報を付加すれば、各画像ファイルを立体視表示が可能な再生機器にて、そのヘッダ情報を基にステレオ画像の立体視表示を行うことが可能である。

しかしながら、ファイルのヘッダ情報が壊れたり消失してしまった場合、再生機器での立体視表示は不可となる。たとえば、ステレオ画像を印刷物の形態で受け渡した場合、その印刷物の画像をスキャナで読み込んで画像の電子データを得ることができても、この時点でヘッダ情報は喪失しているので、スキャナで読み込んだ画像データから立体視表示を行うことは不可である、という問題があった。

本発明は、上記事情を考慮して成されたもので、その目的とするところは、ファイルのヘッダ情報に拠らずに画像の立体視再生を行うことができるとともに、壊れたり消失した立体視表示のためのヘッダ情報を復旧させることのできる合成画像を生成することができるステレオ画像処理装置およびその方法、ならびにステレオ画像処理用プログラムを提供することにある。

上記課題を解決するために本発明は次のような構成を採用している。

すなわち、本発明のステレオ画像処理装置は、ステレオ画像を構成する複数の画像を主画像として入力する画像入力手段と、画像入力手段により入力された複数の主画像に対する立体視表示制御のためのステレオ情報を画像に符号化する符号化手段と、符号化された画像を配置したパディングデータを生成するパディングデータ生成手段と、アスペクト調整比を入力するアスペクト比調整入力手段と、合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるようにパディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと画像入力手段により入力された前記複数の主画像とを領域を区分して合成する画像合成手段とを具備することを特徴とする。

この発明によれば、ヘッダ情報に拠らずに画像の立体視再生を行うことができるとともに、ファイルのヘッダ情報が壊れたり消失してしまっても、合成画像に付加されているステレオ情報の可視的なシンボルを用いた符号化情報からヘッダ情報を復旧することができる合成画像を生成することができる。
また、パディングデータ生成手段は、ステレオ情報に応じて、生成するパディングデータの視覚的特徴を決定するようにしてもよい。

これにより、観察者が裸眼でステレオ画像を立体視する際に、パディングデータの視覚的な特徴により、ステレオ画像の適切な観察方法を一目で判別することができる。

この発明によれば、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。

さらに、本発明は、画像合成手段により合成された画像を圧縮符号化する符号化手段と、符号化手段により圧縮符号化された合成画像に、立体視表示制御のためのステレオ情報をヘッダ情報として付加してファイルを作成する多重化手段とをさらに具備するものであってもよい。

これにより、ヘッダ情報に拠らずに画像の立体視再生が可能なステレオ画像のファイルを作成することができ、このファイルを記録媒体に記録して、立体視表示が可能な外部の機器に伝送したりすることができる。

複数の主画像は右眼用と左眼用の画像、あるいは、一つの被写体を複数の視点から捕らえた画像とすることができる。

以上のように、本発明によれば、ファイルのヘッダ情報に拠らずに画像の立体視再生を行うことができるとともに、壊れたり消失した立体視表示のためのヘッダ情報を復旧することができる合成画像を生成することができる。また、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本発明の一実施形態に係るステレオ画像処理装置の全体的な構成を示すブロック図である。

同図に示すように、このステレオ画像処理装置１００は、画像入力部１、アスペクト比調整入力部２、ステレオ（アダプタ）情報入力部３、データ分離出力部４、ステレオ情報生成部５、ステレオ情報エンコード部６、パディングデータ生成部７、画像合成部８、画像エンコード部９、データ多重化部１０、記録媒体書き込み部１１を備えている。

画像入力部１は、右眼用と左眼用の画像情報（主画像）にそれぞれ、ステレオ画像であることを示す識別情報、左右の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御のためのステレオ情報がヘッダ情報として付加された右眼用と左眼用の各画像ファイル１２Ｒ，１２Ｌを入力する手段である。

データ分離出力部４は、画像入力部１にて入力された右眼用と左眼用の各画像ファイル１２Ｒ，１２Ｌからヘッダ情報を分離してステレオ情報生成部５に出力するための手段である。

ステレオ（アダプタ）情報入力部３は、入力された右眼用と左眼用の各画像ファイル１２Ｒ，１２Ｌのヘッダ情報に含まれる内容以外のステレオ情報、少なくとも、入力された各画像ファイル１２Ｒ，１２Ｌの画像が平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報などを入力するための手段である。
ステレオ情報生成部５は、ステレオ（アダプタ）情報入力部３より入力されたステレオ情報とデータ分離出力部４より出力されたヘッダ情報に基づいて、ステレオ情報エンコード部６およびデータ多重化部１０に出力するステレオ情報を生成するための手段である。
ステレオ情報エンコード部６は、ステレオ情報生成部５より出力されたステレオ情報を一次元バーコード、二次元バーコードなどの画像解析によって判別可能な画像に符号化するための手段である。また、ステレオ情報の中の平行法／交差法識別情報は、ステレオ情報エンコード部６をスルーしてパディングデータ生成部７へわたされる。

パディングデータ生成部７は、ステレオ情報エンコード部６より出力された平行法／交差法識別情報に基づいて、右眼用と左眼用の各画像データ本体と合成されるパディングデータを生成して、ステレオ情報エンコード部６より出力されたステレオ情報の符号化画像とともに画像合成部８に出力する手段である。

ここで、パディングデータとは、所定のアスペクト調整比をもつ二次元空間内に右眼用と左眼用の各主画像を左右に並べて配置した場合にできる空き領域を埋めるデータである。このパディングデータは、平行法／交差法識別情報を、たとえば人間が一目で識別することのできる色や模様などの視覚的特徴によって表現したものである。このパディングデータの所定の位置に、ステレオ情報の符号化画像が配置される。このステレオ情報の符号化画像は、平行法／交差法識別情報の表現のように、人間によって即座に判別され得るようなものである必要はなく、バーコードなどのように、立体視表示制御のために必要なすべてのステレオ情報を符号化できるものであればよい。したがって、このステレオ情報の符号化には数字や記号などの文字を用いることも可能である。

アスペクト比調整入力部２は、主画像とパディングデータとの合成画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、たとえば使用される印字用紙の縦横比に合わせて入力される。

画像合成部８は、画像入力部１より入力された右眼用と左眼用の各主画像と、パディングデータ生成部７より出力された、ステレオ情報の符号化画像およびパディングデータとを合成して、アスペクト比調整入力部２より入力されたアスペクト調整比をもつ一つの画像データを生成する手段である。

画像エンコード部９は、画像合成部８より出力された合成画像をたとえばＪＰＥＧ方式などの所定の方式で圧縮符号化する手段である。

データ多重化部１０は、画像エンコード部９によって圧縮符号化された合成画像とステレオ情報生成部５より出力されたステレオ情報とを多重化する手段である。ここで、ステレオ情報は画像ファイルのヘッダ情報として付加される。

記録媒体書き込み部１１は、データ多重化部１０によって生成された画像ファイルを、書き込み可能または書き換え可能な不揮発性の記録媒体（たとえばＥＥＰＲＯＭなど）に書き込む手段である。

次に、このステレオ画像処理装置１００の動作を説明する。

右眼用と左眼用の画像ファイル１２Ｒ，１２Ｌとして、図２に示すように、それぞれステレオ画像であることを示す識別情報、左右の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情報１３Ｒ，１３Ｌとして主画像１４Ｒ，１４Ｌに付加された画像ファイル１２Ｒ，１２Ｌを入力する場合を考える。この場合には、画像ファイルの入力前に、ステレオ（アダプタ）情報入力部３より、これから入力される画像ファイルが平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力して、ステレオ情報生成部５に設定しておく。一方、アスペクト比調整入力部２からは、使用する印刷用紙の縦横比に合わせたアスペクト調整比を入力して、画像合成部８に画像合成用のアスペクト調整比として設定しておく。

ステレオ情報生成部５および画像合成部８の設定完了後、画像入力部１にて右眼用と左眼用の各画像ファイル１２Ｒ，１２Ｌを入力し、各画像ファイル１２Ｒ，１２Ｌにおける主画像１４Ｒ，１４Ｌを画像合成部８へわたす一方、データ分離出力部４にて、各画像ファイル１２Ｒ，１２Ｌのヘッダ情報１３Ｒ，１３Ｌを分離抽出してステレオ情報生成部５へ出力する。

ステレオ情報生成部５は、データ分離出力部４より各画像ファイル１２Ｒ，１２Ｌのヘッダ情報１３Ｒ，１３Ｌを取得すると、このヘッダ情報１３Ｒ，１３Ｌと、既にステレオ（アダプタ）情報入力部３からの入力によって設定されているステレオ情報（少なくとも平行法／交差法識別情報）とからステレオ情報エンコード部６およびデータ多重化部１０に出力するステレオ情報を生成し、それぞれに出力する。

この後、ステレオ情報エンコード部６にて、ステレオ情報生成部５より出力されたステレオ情報が一次元バーコード、二次元バーコードなどの画像に符号化され、このステレオ情報の符号化画像は、ステレオ情報生成部５から出力されたステレオ画像の中の平行法／交差法識別情報とともにパディングデータ生成部７に出力される。

次に、パディングデータ生成部７にて、ステレオ情報エンコード部６より出力された平行法／交差法識別情報に対応するパディングデータの生成が行われ、生成されたパディングデータはステレオ情報エンコード部６より出力されたステレオ情報の符号化画像とともに画像合成部８に出力される。

次に、画像合成部８では、画像入力部１より渡された右眼用と左眼用の各主画像１４Ｒ，１４Ｌと、パディングデータ生成部７からのパディングデータおよびステレオ情報の符号化画像とが合成されて、アスペクト比調整入力部２からの入力により設定されたアスペクト調整比をもつ一つの合成画像が生成される。

図３および図４は画像合成部８によって生成された合成画像２０，３０の例を示し、図３は各主画像１４Ｒ，１４Ｌが平行法のステレオ画像である場合の合成画像２０、図４は各主画像１４Ｒ，１４Ｌが交差法のステレオ画像である場合の合成画像３０をそれぞれ示している。このように平行法と交差法とでは、各主画像１４Ｒ，１４Ｌの水平方向の並び順が逆になる。

本例では、左右の主画像１４Ｒ，１４Ｌの上下に、可視的な平行法／交差法識別情報であるパディングデータ１５，１６が配置されている。この合成画像２０，３０の縦横のサイズはアスペクト比調整入力部２より入力されたアスペクト調整比によって決められている。すなわち、図３において、左右に並べた各主画像１４Ｒ，１４Ｌの長辺の長さ（この例では横の長さ）を合成画像２０の横の長さＸとし、この合成画像２０の横の長さＸとアスペクト調整比とから、合成画像２０の縦の長さＹを決定する。すなわち、画像合成部８は、合成画像の縦横のサイズが、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調整して、左右の主画像１４Ｒ，１４Ｌに合成する。

合成画像２０，３０における各主画像１４Ｒ，１４Ｌの鉛直方向の位置はシステム固有とされ、この例では、鉛直方向のほぼ中間の位置に各主画像１４Ｒ，１４Ｌが配置されるように決められている。したがって、本例では、合成画像２０，３０において、各主画像１４Ｒ，１４Ｌの上下にパディングデータ１５，１６の領域が確保されることになる。ただし、このように各主画像１４Ｒ，１４Ｌの上下にパディングデータ１５，１６の領域を確保した配置は一例にすぎない。各主画像１４Ｒ，１４Ｌの上、もしくは下の一方にだけパディングデータの領域を確保するようにしてもよい。

また、本例では、合成画像２０，３０の下のパディングデータ１６の領域に、ステレオ情報の符号化画像１７である一次元バーコードが配置されている。もちろん、このステレオ情報の符号化画像１７は、上のパディングデータ１５の領域に配置してもよく、上下にそれぞれ配置してもよい。さらには、ステレオ情報の符号化画像１７は、一つのパディングデータ１５または１６の領域に複数配置してもよい。

また、図９に示すように、左右に並んだ主画像１４Ｒ，１４Ｌが全体として縦長である場合には、各主画像１４Ｒ，１４Ｌの長辺は縦の辺となり、この縦の辺の長さを合成画像２０ａの縦の長さＹとして、この合成画像２０ａの縦の長さＹとアスペクト調整比とから、合成画像２０ａの横の長さＸを決定する。したがって、この場合には、主画像１４Ｒ，１４Ｌの左右に可視的な平行法／交差法識別情報であるパディングデータ１５，１６が配置され、その一方のパディングデータ１６の領域にステレオ情報の符号化画像１７が配置される。

上記のように画像合成部８によって得られた合成画像は、画像エンコード部９によって、たとえばＪＰＥＧ方式などの所定の方式で圧縮符号化されてデータ多重化部１０に送られ、ここで、圧縮符号化された合成画像と、ステレオ情報生成部５からのステレオ情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが作成される。図５に、このステレオ画像のファイル４０の構成を示す。同図に示すように、ステレオ画像のファイル４０は、圧縮符号化された合成画像１８、ヘッダ情報１９、ファイル４０の先頭を示すＳＯＩ４１、ファイル４０の最後を示すＥＯＩ４２などで構成される。作成されたステレオ画像のファイル４０は記録媒体書き込み部１１によって記録媒体に記録される。

以上、この実施形態のステレオ画像処理装置１００によれば、合成画像にステレオ情報および平行法／交差法識別情報を付加したステレオ画像のファイル４０を作成することができる。これにより、ステレオ画像のファイル４０のヘッダ情報に拠らずに画像の立体視再生を行うことができる。さらには、合成画像の印刷物であるステレオ画像シートからスキャナでその合成画像を読み込み、その中に存在するステレオ情報の符号化画像およびパディングデータを復号することによって画像の立体視再生を行うことができる。また、合成画像にステレオ情報および平行法／交差法識別情報が付加されているので、ステレオ画像のファイル４０のヘッダ情報が壊れたり消失してしまっても、合成画像に付加されているステレオ情報の符号化画像からヘッダ情報を復旧することができる。

また、ステレオ画像のファイル４０に格納されているステレオ画像を裸眼にて観察する際には、ステレオ画像ファイル４０の圧縮符号化された合成画像の復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイル４０を読み込ませる。これにより、図３または図４に示したように、右眼用と左眼用の各主画像１４Ｒ，１４Ｌとパディングデータ１５，１６との合成画像２０または合成画像３０が再現される。この際、観察者は、表示されているパディングデータ１５，１６の色やパターンなどの視覚的な特徴から、右眼用と左眼用の各主画像１４Ｒ，１４Ｌが平行法のステレオ画像であるか、交差法のステレオ画像であるかを一目で判別することができる。したがって、即座に適切な観察方法による立体視観察を試みることができ、観察者の余計な負担を排除することができる。

また、記録媒体に記録された主画像とパディングデータとの合成画像は、使用される印字用紙の縦横比に合わせてアスペクト比が決められているので、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用紙に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデータ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像を交差法で観察すればよいか、平行法で観察すればよいかを一目で判別することができる。

次に、上記のステレオ画像処理装置１００によって作成されたステレオ画像のファイル４０に格納されているステレオ画像を立体視再生する再生装置について説明する。

図６は、このステレオ画像再生装置の構成を示すブロック図である。

同図に示すように、このステレオ画像再生装置２００は、記録媒体読み込み部５１、データ分離部５２、画像デコード部５３、画像分離部５４、パディングデータデコード部５５、画像変換部５６および立体視表示部５７を備えている。

記録媒体読み込み部５１は、着脱自在な記録媒体からステレオ画像のファイル４０を読み込む手段である。

データ分離部５２は、記録媒体から読み込まれたステレオ画像のファイル４０から主画像すなわち図５に示した圧縮符号化された合成画像１８を分離抽出する手段である。

画像デコード部５３は、データ分離部５２によって分離抽出された圧縮符号化された合成画像１８を復号解凍する手段である。

画像分離部５４は、復号解凍された合成画像から、左右の主画像と、ステレオ情報の符号化画像およびパディングデータとを分離して、左右の主画像を画像変換部５６へ、ステレオ情報の符号化画像およびパディングデータをパディングデータデコード部５５へそれぞれ振り分ける手段である。

パディングデータデコード部５５は、色判別やパターン認識などにより、ステレオ情報の符号化画像とパディングデータをそれぞれ判別し、ステレオ情報の符号化画像を復号して元のステレオ情報を復元するとともに、パディングデータから平行法／交差法識別情報を復元する手段である。

画像変換部５６は、復元されたステレオ情報および平行法／交差法識別情報に基づき、左右の主画像に対して立体視表示のための演算処理を実行し、その結果を立体視表示部５７に出力する手段である。

立体視表示部５７は、画像を立体視表示する手段である。

次に、このステレオ画像再生装置２００の動作を説明する。

通常、再生装置では、ステレオ画像のファイル４０のヘッダ情報に基づき画像の立体視再生が行われるが、このステレオ画像再生装置２００では、ヘッダ情報に拠らずに、合成画像の中の、ステレオ情報の符号化画像とパディングデータを復号して、これらの復号情報に基づき画像の立体視再生を行う。

まず、記録媒体読み込み部５１にて、着脱自在な記録媒体からステレオ画像のファイル４０を読み込む。次に、データ分離部５２にて、記録媒体から読み込まれたステレオ画像のファイル４０から主画像すなわち図５に示した圧縮符号化された合成画像１８が分離抽出され、画像デコード部５３にて復号解凍される。

続いて、画像分離部５４にて、復号解凍された合成画像から、左右の主画像と、ステレオ情報の符号化画像を含むパディングデータとが分離され、左右の主画像は画像変換部５６へ出力される。また、ステレオ情報の符号化画像とパディングデータはパディングデータデコード部５５へ出力され、元のステレオ情報と平行法／交差法識別情報が復元される。そして、画像変換部５６では、復元されたステレオ情報および平行法／交差法識別情報に基づき、左右の主画像に対して立体視表示のための演算処理が行われ、その結果が立体視表示部５７にて表示される。

このように、本実施形態のステレオ画像再生装置２００によれば、ステレオ画像のファイル４０のヘッダ情報に拠らずに画像の立体視再生を行うことができる。

また、上記のステレオ画像再生装置２００では、記録媒体読み込み部５１にて、着脱自在な記録媒体からステレオ画像のファイル４０を読み込むように構成したが、記録媒体読み込み部５１に代えて、スキャナなどの画像取り込み装置を用いた構成としてもよい。

図７は画像取り込み装置を用いたステレオ画像再生装置３００の構成を示すブロック図である。

同図に示すように、このステレオ画像再生装置３００は、合成画像の印刷物であるステレオ画像シートからその合成画像を取り込む画像取り込み部６１と、画像取り込み部６１にて取り込まれた合成画像から左右の主画像とステレオ情報の符号化画像およびパディングデータとを分離する画像分離部６２と、色判別やパターン認識などにより、ステレオ情報の符号化画像とパディングデータをそれぞれ判別し、ステレオ情報の符号化画像を復号して元のステレオ情報を復元するとともに、パディングデータから平行法／交差法識別情報を復元するパディングデータデコード部６３と、復元されたステレオ情報および平行法／交差法識別情報に基づき、左右の主画像に対して立体視表示のための演算処理を実行する画像変換部６４と、画像を立体視表示する立体視表示部６５とにより構成される。

このような構成を有するステレオ画像再生装置３００により、合成画像の印刷物から画像の立体視再生を行うことができる。

ところで、ステレオ情報における水平シフト量の記述に関して、この実施形態では、"ｓｈｉｆｔＸ；１５／１０２４"すなわち、１０２４画素中の１５画素分を水平シフトさせる、という記述方法を採っている。これにより、印刷された合成画像を画像取り込み部にて本来の解像度とは異なる解像度で取り込んだとして、両解像度の比と水平シフト量の記述から、適切な水平シフト量を算出することができ、良好な立体視再生を実現できる。

次に、合成画像に付加されているステレオ情報の符号化画像から、ステレオ画像ファイルのヘッダ情報を復旧するステレオ画像処理装置について説明する。

図８は、このステレオ画像処理装置の構成を示すブロック図である。

同図に示すように、このステレオ画像処理装置４００は、着脱自在な記録媒体からステレオ画像のファイル４０を読み込む記録媒体読み込み部７１、記録媒体から読み込まれたステレオ画像のファイル４０から主画像すなわち圧縮符号化された合成画像を分離抽出するデータ分離部７２と、データ分離部７２によって分離抽出された圧縮符号化された合成画像を復号解凍する画像デコード部７３と、復号解凍された合成画像から、左右の主画像と、ステレオ情報の符号化画像およびパディングデータとを分離する画像分離部７４と、色判別やパターン認識などにより、ステレオ情報の符号化画像とパディングデータをそれぞれ判別し、ステレオ情報の符号化画像を復号して元のステレオ情報を復元するとともに、パディングデータから平行法／交差法識別情報を復元してヘッダ情報を生成するパディングデータデコード部７５と、データ分離部７２によって分離抽出された圧縮符号化された合成画像とパディングデータデコード部７５にて復元されたヘッダ情報とを多重化してステレオ情報の画像ファイルを作成するデータ多重化部７６と、データ多重化部７６により作成されたステレオ情報の画像ファイルを着脱自在な記録媒体に書き込む記録媒体書き込み部７７とを備えている。

このような構成を有するステレオ画像処理装置４００によって、合成画像に付加されているステレオ情報の符号化画像から、ステレオ画像ファイルのヘッダ情報を復旧することができる。

以上の実施形態では、右眼用と左眼用の２つの画像データをパディングデータと合成するものとしたが、３つ以上の視点（複眼）の画像データと、ステレオ情報の符号化画像およびパディングデータとを合成するようにしてもよい。

ここで、各々の画像ファイルは、たとえば、図１０に示すように、１つの被写体８０を、前後左右に並べて配置された複数のデジタルスチルカメラ８１（０，０）・・・８１（３，２）によって同時に撮像して得られた各々の主画像に、立体視表示制御のためのステレオ情報をヘッダ情報として付加したものである。

図１１は、この実施形態に係るステレオ画像処理装置５００の全体的な構成を示すブロック図である。

同図に示すように、このステレオ画像処理装置５００は、画像入力部９１、アスペクト比調整入力部９２、ステレオ（アダプタ）情報入力部９３、データ分離出力部９４、ステレオ情報生成部９５、ステレオ情報エンコード部９６、パディングデータ生成部９７、画像合成部９８、画像エンコード部９９、データ多重化部１０１、記録媒体書き込み部１０２を備えている。

画像入力部９１は、複数のデジタルスチルカメラ８１（０，０）・・・８１（３，２）によって同時に撮像して得られた各々の主画像にそれぞれ、ステレオ画像であることを示す識別情報、視点（カメラ）の位置の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御のためのステレオ情報がヘッダ情報として付加された複数の画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）を入力するための手段である。

データ分離出力部９４は、画像入力部９１にて入力された複数の画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）からヘッダ情報を分離してステレオ情報生成部９５に出力するための手段である。

ステレオ（アダプタ）情報入力部９３は、入力された画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）に含まれる内容以外のステレオ情報、少なくとも、入力された各画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）の画像が平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報などを入力するための手段である。

ステレオ情報生成部９５は、ステレオ（アダプタ）情報入力部９３より入力されたステレオ情報とデータ分離出力部９４より出力されたヘッダ情報に基づいて、ステレオ情報エンコード部９６およびデータ多重化部１０１に出力するステレオ情報を生成するための手段である。

ステレオ情報エンコード部９６は、ステレオ情報生成部９５より出力されたステレオ情報を一次元バーコード、二次元バーコードなどの画像に符号化するための手段である。また、ステレオ情報の中の平行法／交差法識別情報は、ステレオ情報エンコード部９６をスルーしてパディングデータ生成部７へわたされる。

パディングデータ生成部９７は、ステレオ情報エンコード部９６より出力された平行法／交差法識別情報に基づいて、右眼用と左眼用の各主画像と合成されるパディングデータを生成して、ステレオ情報エンコード部９６より出力されたステレオ情報の符号化画像とともに画像合成部９８に出力する手段である。

アスペクト比調整入力部９２は、出力するステレオ画像とパディングデータとの合成画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、たとえば使用される印字用紙の縦横比に合わせて入力される。

画像合成部９８は、画像入力部９１より入力された右眼用と左眼用の各画像データと、パディングデータ生成部９７より出力された、ステレオ情報の符号化画像およびパディングデータとを合成して、アスペクト比調整入力部９２より入力されたアスペクト調整比をもつ一つの合成画像を生成する手段である。

画像エンコード部９９は、画像合成部９８で得られた合成画像をたとえばＪＰＥＧ方式などの所定の方式で圧縮符号化する手段である。

データ多重化部１０１は、画像エンコード部９９によって圧縮符号化された合成画像とステレオ情報生成部９５より出力されたステレオ付属情報とを多重化する手段である。ここで、ステレオ付属情報は画像ファイルのヘッダ情報として付加される。

記録媒体書き込み部１０２は、データ多重化部１０１によって生成された画像ファイルを、書き込み可能または書き換え可能な不揮発性の記録媒体（たとえばＥＥＰＲＯＭなど）に書き込む手段である。

次に、このステレオ画像処理装置５００の動作を説明する。

複数の画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）として、それぞれステレオ画像であることを示す識別情報、視点（カメラ）の位置の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情報として付加された複眼の各画像ファイルを入力する場合を考える。この場合には、画像ファイルの入力前に、ステレオ（アダプタ）情報入力部９３より、これから入力される画像ファイルが平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力して、ステレオ情報生成部９５に設定しておく。一方、アスペクト比調整入力部９２からは、使用する印刷用紙の縦横比に合わせたアスペクト調整比を入力して、画像合成部９８に画像合成用のアスペクト調整比として設定しておく。

ステレオ情報生成部９５および画像合成部９８の設定完了後、画像入力部９１にて複数の画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）を入力し、各画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）における主画像を画像合成部９８へわたす一方、データ分離出力部９４にてヘッダ情報を分離抽出してステレオ情報生成部９５へ出力する。

ステレオ情報生成部９５は、データ分離出力部９４より各画像ファイル８２（０，０），８２（０，１），・・・，８２（３，２）のヘッダ情報を取得すると、これらのヘッダ情報と、既にステレオ（アダプタ）情報入力部９３からの入力によって設定されているステレオ情報（少なくとも平行法／交差法識別情報）とからステレオ情報エンコード部９６およびデータ多重化部１０１に出力するステレオ情報を生成し、それぞれに出力する。

この後、ステレオ情報エンコード部９６にて、ステレオ情報生成部９５より出力されたステレオ情報が一次元バーコード、二次元バーコードなどの画像に符号化され、このステレオ情報の符号化画像は、ステレオ情報生成部９５から出力されたステレオ画像の中の平行法／交差法識別情報とともにパディングデータ生成部９７に出力される。

次に、パディングデータ生成部９７にて、ステレオ情報エンコード部９６より出力された平行法／交差法識別情報に対応するパディングデータの生成が行われ、生成されたパディングデータはステレオ情報エンコード部９６より出力されたステレオ情報の符号化画像とともに画像合成部９８に出力される。

次に、画像合成部９８では、画像入力部９１より渡された複数の主画像と、パディングデータ生成部７からのパディングデータおよびステレオ情報の符号化画像とが合成されて、アスペクト比調整入力部９２からの入力により設定されたアスペクト調整比をもつ一つの合成画像が生成される。

図１２および図１３は画像合成部９８によって生成された合成画像８３，８４の例を示し、図１２は各主画像８５（０，０），８５（０，１），・・・，８５（３，２）が平行法のステレオ画像である場合の合成画像８３、図１３は各主画像８５（０，０），８５（０，１），・・・，８５（３，２）が交差法のステレオ画像である場合の合成画像８４をそれぞれ示している。このように平行法と交差法とでは、各主画像８５（０，０），８５（０，１），・・・，８５（３，２）の水平方向の並び順が逆になる。ただし、上下の位置関係は共通である。

本例では、各主画像８５（０，０），８５（０，１），・・・，８５（３，２）の上下にパディングデータ８６，８７が配置されている。各主画像８５（０，０），８５（０，１），・・・，８５（３，２）はそれぞれ水平方向の端どうし、鉛直方向の端どうしが互いに接するように一体化して配置される。この合成画像８３，８４の縦横のサイズはアスペクト比調整入力部９２より入力されたアスペクト調整比に従って決められる。具体的には、図１２において、一体化された主画像８５の長辺の長さ（この例では水平方向の長さ）を合成画像８３の横の長さＸとし、さらにこの合成画像８３の横の長さＸとアスペクト調整比とから合成画像８３の縦の長さＹを決定する。すなわち、画像合成部９８は、合成画像８３の縦横のサイズが、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調整して、一体化された主画像８５に合成する。

合成画像８３，８４における一体化された主画像８５の鉛直方向の位置はシステム固有とされ、この例では、鉛直方向のほぼ中間の位置に、一体化された主画像８５が配置されるように決められている。したがって、本例では、合成画像８３，８４において、一体化された主画像８５の上下にパディングデータ８６，８７の領域が確保されることになる。ただし、このように一体化された主画像８５の上下にパディングデータ８６，８７の領域を確保した配置は一例にすぎない。一体化された主画像８５の上、もしくは下の一方にだけパディングデータの領域を確保するようにしてもよい。

また、本例では、合成画像８３，８４の下のパディングデータ８７の領域に、ステレオ情報の符号化画像８８である一次元バーコードが配置されている。もちろん、このステレオ情報の符号化画像８８は、上のパディングデータ８６の領域に配置してもよく、上下にそれぞれ配置してもよい。さらには、ステレオ情報の符号化画像８８は、一つのパディングデータ８６または８７の領域に複数配置してもよい。

上記のように画像合成部９８によって得られた合成画像は、画像エンコード部９９によって、たとえばＪＰＥＧ方式などの所定の方式で圧縮符号化されてデータ多重化部１０１に送られ、ここで、圧縮符号化された合成画像と、ステレオ情報生成部９５からのステレオ付属情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが作成される。作成されたステレオ画像のファイルは記録媒体書き込み部１０２によって記録媒体に記録される。

以上、この実施形態のステレオ画像処理装置５００によれば、合成画像にステレオ情報および平行法／交差法識別情報を付加したステレオ画像のファイルを作成することができる。これにより、ステレオ画像のファイルのヘッダ情報に拠らずに画像の立体視再生を行うことができる。さらには、合成画像の印刷物であるステレオ画像シートからスキャナでその合成画像を読み込み、その中に存在するステレオ情報の符号化画像およびパディングデータを復号することによって画像の立体視再生を行うことができる。また、合成画像にステレオ情報および平行法／交差法識別情報が付加されているので、ステレオ画像のファイルのヘッダ情報が壊れたり消失してしまっても、合成画像に付加されているステレオ情報の符号化画像からヘッダ情報を復旧することができる。

また、ステレオ画像のファイルに格納されているステレオ画像を裸眼にて観察する際には、ステレオ画像ファイルの圧縮符号化された合成画像の復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイルを読み込ませる。これにより、図１２または図１３に示したように、複数の主画像８５とパディングデータ８６，８７との合成画像８３または合成画像８４が再現される。この際、観察者は、表示されているパディングデータ８６，８７の色やパターンなどの視覚的な特徴から、複数の主画像８５が平行法のステレオ画像であるか、交差法のステレオ画像であるかを一目で判別することができる。したがって、即座に適切な観察方法による立体視観察を試みることができ、観察者の余計な負担を排除することができる。

また、記録媒体に記録された主画像とパディングデータとの合成画像は、使用される印字用紙の縦横比に合わせてアスペクト比が決められているので、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用紙に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデータ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像を交差法で観察すればよいか、平行法で観察すればよいかを一目で判別することができる。
なお、本発明において、パディングデータに平行法／交差法識別情報としての意味を持たせることは必須ではない。すなわち、パディングデータは、所定のアスペクト調整比をもつ二次元空間内に右眼用と左眼用の各主画像を左右に並べて配置した場合にできる空き領域を埋めることのみを目的とし、このパディングデータの領域にステレオ情報の符号化画像を配置した構成を採用してもよい。
また、上記の実施形態で示したステレオ画像処理装置１００，４００，５００のステレオ画像処理のための機能は、ステレオ画像再生装置２００，３００のステレオ画像再生のための機能は、ＰＣなどのコンピュータを機能させるためのプログラムとして提供されるようにしてもよい。

本発明の一実施形態に係るステレオ画像処理装置の全体的な構成を示すブロック図である。 図１のステレオ画像処理装置に入力される画像ファイルの構成を示す図である。 画像が平行法のステレオ画像である場合の合成画像の例を示す図である。 画像が交差法のステレオ画像である場合の合成画像の例を示す図である。 図１のステレオ画像処理装置より出力されるステレオ画像のファイルの構成を示す図である。 本発明の実施形態に係るステレオ画像再生装置の構成を示すブロック図である。 画像取り込み装置を用いたステレオ画像再生装置の構成を示すブロック図である。 ヘッダ情報を復旧可能なステレオ画像処理装置の構成を示すブロック図である。 合成画像の変形例を示す図である。 １つの被写体を前後左右に並べて配置された複数のデジタルスチルカメラで撮像する形態を示す図である。 本発明の別の実施形態に係るステレオ画像処理装置の全体的な構成を示すブロック図である。 図１１のステレオ画像処理装置にて生成される、画像が平行法のステレオ画像である場合の合成画像の例を示す図である。 図１１のステレオ画像処理装置にて生成される、画像が交差法のステレオ画像である場合の合成画像の例を示す図である。 平面画像を立体画像として認識させる平行法を説明するための図である。 平面画像を立体画像として認識させる交差法を説明するための図である。

符号の説明

１ 画像入力部
２ アスペクト比調整入力部
３ ステレオ（アダプタ）情報入力部
４ データ分離出力部
５ ステレオ情報生成部
６ ステレオ情報エンコード部
７ パディングデータ生成部
８ 画像合成部
９ 画像エンコード部
１０ データ多重化部
１１ 記録媒体書き込み部
１２Ｒ，１２Ｌ 画像ファイル
１３Ｒ，１３Ｌ ヘッダ情報
１４Ｒ，１４Ｌ 主画像
１５，１６ パディングデータ
１７ ステレオ情報の符号化情報
１８ 合成画像
２０，３０ 合成画像
４０ ステレオ画像ファイル
１００ ステレオ画像処理装置

Claims (4)

1. ステレオ画像を構成する複数の画像を主画像として入力する画像入力手段と、
   前記画像入力手段により入力された前記複数の主画像に対する立体視表示制御のためのステレオ情報を画像に符号化する符号化手段と、
   前記符号化された画像を配置したパディングデータを生成するパディングデータ生成手段と、
   アスペクト調整比を入力するアスペクト比調整入力手段と、
   合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと前記画像入力手段により入力された前記複数の主画像とを領域を区分して合成する画像合成手段と
   を具備することを特徴とするステレオ画像処理装置。
2. 請求項１に記載のステレオ画像処理装置であって、
   前記パディングデータ生成手段は、前記ステレオ情報に応じて、生成する前記パディングデータの視覚的特徴を決定する
   ステレオ画像処理装置。
3. 画像入力手段により、ステレオ画像を構成する複数の画像を主画像として入力するステップと、
   符号化手段により、前記画像入力手段により入力された前記複数の主画像に対する立体視表示制御のためのステレオ情報を画像に符号化するステップと、
   パディングデータ生成手段により、前記符号化された画像を配置したパディングデータを生成するステップと、
   アスペクト比調整入力手段により、アスペクト調整比を入力するステップと、
   画像合成手段により、合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと前記画像入力手段により入力された前記複数の主画像とを領域を区分して合成するステップと
   を具備することを特徴とするステレオ画像処理方法。
4. コンピュータを、
   ステレオ画像を構成する複数の画像を主画像として入力する画像入力手段と、
   前記画像入力手段により入力された前記複数の主画像に対する立体視表示制御のためのステレオ情報を画像に符号化する符号化手段と、
   前記符号化された画像を配置したパディングデータを生成するパディングデータ生成手段と、
   アスペクト調整比を入力するアスペクト比調整入力手段と、
   合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと前記画像入力手段により入力された前記複数の主画像とを領域を区分して合成する画像合成手段として機能させるステレオ画像処理用プログラム。

Images