JP4665167B2 - ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム - Google Patents

Description

本発明は、ステレオ画像を処理するステレオ画像処理装置およびそのステレオ画像処理方法、ならびにステレオ画像処理用プログラムに関する。

両眼の視差を利用して平面画像を立体画像として認識させる方法には、裸眼による方法として、平行法、交差法などがある。平行法は、図１０に示すように、それぞれ適当な視差をもつ左右２つの画像（以下「ステレオ画像」と呼ぶ。）１００Ｒ，１００Ｌのうちの右側の画像１００Ｒを右眼で、左側の画像１００Ｌを左眼で観察する方法であり、交差法は、図１１に示すように、右側の画像１００Ｒを左眼で、左側の画像１００Ｌを右眼で観察する方法である。

このようなステレオ画像を撮像する方法には、人間の目の間隔と同等の距離を置いて２つのレンズおよび撮像素子を左右に並べて配置し、これら２つの撮像系で左右の画像を平行法または交差法にて同時に撮像する方法などがあり、既にこのような仕組みを採用したデジタルスチルカメラに関する発明が公開されている（例えば特許文献１）。また、このように複数の撮像系を用いたカメラを用いなくても、一度撮像を行った位置からカメラを水平方向に人間の目の間隔と同等の距離だけ移動させ、その位置から同じ被写体をもう一度撮像したり、複数のカメラを２台用いることなどによって、ステレオ画像となる２つの画像を得ることが可能である。

また、上記の特許文献１などには、左右それぞれの画像データに個別に、ステレオ画像であるという情報や、左右の識別情報などをヘッダ情報として記録しておくことで、記録再生装置や伝送装置などでの処理時に、左右の画像データが１つの画像取り扱い単位として扱われるようにして、誤って左右の画像データのうち一つが消去したり、伝送したりされる不具合を防止することなどが記載されている。
特開平５−３０５３８号公報

ところで、ステレオ画像は、その見かけからは、これが平行法と交差法のどちらで撮像されたものであるか、すなわち平行法と交差法のどちらで観察を試みればよいのかが判らない。このため観察者は、平行法と交差法の両方の観察を試みて自分で適切な観察方法を判別しなければならない、という問題があった。

また、図１２に示すように、ステレオ画像を印刷する際、印字用紙９１のサイズに合わせてステレオ画像９２を印刷すると、ステレオ画像９２の一部が欠けてしまう場合がある、という問題があった。

本発明は、上記事情を考慮して成されたもので、その目的とするところは、適切な観察方法を一目で判別することのできるステレオ画像を生成することのできるステレオ画像処理装置、ステレオ画像処理方法、およびステレオ画像処理用プログラムを提供することにある。

上記課題を解決するために本発明は次のような構成を採用している。
すなわち、本発明のステレオ画像処理装置は、ステレオ画像を構成する複数の画像データを入力する画像入力手段と、入力された複数の画像データのステレオ情報を表すためのパディングデータを生成するパディングデータ生成手段と、アスペクト調整比を入力するアスペクト比調整入力手段と、合成画像の縦横のサイズがアスペクト比調整入力手段により入力されたアスペクト調整比となるようにパディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと、画像入力手段により入力された複数の画像データとを領域を区分して合成して出力する画像合成手段とを具備することを特徴とする。

この発明によれば、観察者が裸眼でステレオ画像を立体視する際に、合成画像のパディングデータを基に、ステレオ画像の適切な観察方法を一目で判別することができる。したがって、パディングデータとしては、視覚的特徴によって判別可能な画像を用いることが好ましい。ここで、ステレオ情報は、画像データが平行法または交差法のどちらのステレオ画像であるかを表す情報としてもよい。

この発明によれば、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。

以上のように、本発明によれば、観察者が裸眼でステレオ画像を立体視する際に、合成画像のパディングデータの視覚的な特徴により、ステレオ画像の適切な観察方法を一目で判別することができる合成画像を生成できる。また、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本発明の一実施形態に係わるステレオ画像処理装置の全体的な構成を示すブロック図である。

同図に示すように、このステレオ画像処理装置１００は、画像入力部１、アスペクト比調整入力部２、ステレオ（アダプタ）情報入力部３、データ分離出力部４、ステレオ付属情報生成部５、パディングデータ生成部６、画像合成部７、画像エンコード部８、データ多重化部９、記録媒体書き込み部１０を備えている。

画像入力部１は、右眼用と左眼用の画像本体にそれぞれ、ステレオ画像であることを示す識別情報、左右の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御のためのステレオ情報がヘッダ情報として付加された右眼用と左眼用の各画像ファイル１１Ｒ，１１Ｌを入力する手段である。

データ分離出力部４は、画像入力部１にて入力された右眼用と左眼用の各画像ファイル１１Ｒ，１１Ｌからヘッダ情報を分離してステレオ付属情報生成部５に出力するための手段である。

ステレオ（アダプタ）情報入力部３は、入力された右眼用と左眼用の各画像ファイル１１Ｒ，１１Ｌのヘッダ情報に含まれる内容以外のステレオ情報、少なくとも、入力された各画像ファイル１１Ｒ，１１Ｌの画像が平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力するための手段である。

ステレオ付属情報生成部５は、ステレオ（アダプタ）情報入力部３より入力されたステレオ情報とデータ分離出力部４より出力されたヘッダ情報に基づいて、パディングデータ生成部６およびデータ多重化部９に出力するステレオ付属情報を生成するための手段である。ここで、パディングデータ生成部６へは、ステレオ付属情報として、平行法／交差法識別情報の内容が出力され、データ多重化部９へは、ステレオ（アダプタ）情報入力部３より入力されたステレオ情報とデータ分離出力部４より出力されたヘッダ情報のすべての内容がステレオ付属情報として出力される。

パディングデータ生成部６は、ステレオ付属情報生成部５からのステレオ情報（平行法／交差法識別情報の内容）に基づいて、右眼用と左眼用の各画像本体と合成するパディングデータを生成して画像合成部７に出力するための手段である。パディングデータとは、所定のアスペクト調整比をもつ二次元空間内に右眼用と左眼用の各画像本体を左右に並べて配置した場合にできる空き領域を埋めるデータである。このパディングデータは、視覚的な特徴により平行法／交差法識別情報を表したものであり、たとえば、色、パターンなど、人間が一目でその特徴を見分けることのできるような視覚的表現が採用されている。

アスペクト比調整入力部２は、出力するステレオ画像とパディングデータとの合成画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、たとえば使用される印字用紙の縦横比に合わせて入力される。

画像合成部７は、画像入力部１より入力された右眼用と左眼用の各画像データとパディングデータ生成部６により生成されたパディングデータとを合成して、アスペクト比調整入力部２より入力されたアスペクト調整比をもつ一つの画像データを生成する手段である。

画像エンコード部８は、画像合成部７より出力されたステレオ画像・パディングデータの合成画像をたとえばＪＰＥＧ方式などの所定の方式で圧縮符号化する手段である。

データ多重化部９は、画像エンコード部８によって圧縮符号化されたステレオ画像・パディングデータの合成画像データとステレオ付属情報生成部５より出力されたステレオ付属情報とを多重化する手段である。ここで、ステレオ付属情報は画像ファイルのヘッダ情報として付加される。

記録媒体書き込み部１０は、データ多重化部９によって生成された画像ファイルを、書き込み可能または書き換え可能な不揮発性の記録媒体（たとえばＥＥＰＲＯＭなど）に書き込む手段である。

次に、このステレオ画像処理装置１００の動作を説明する。

右眼用と左眼用の画像ファイル１１Ｒ，１１Ｌとして、図２に示すように、それぞれステレオ画像であることを示す識別情報、左右の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情報１２Ｒ，１２Ｌとして、画像本体１３Ｒ，１３Ｌに付加された画像ファイル１１Ｒ，１１Ｌを入力する場合を考える。この場合には、画像ファイルの入力前に、ステレオ（アダプタ）情報入力部３より、これから入力される画像ファイルが平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力して、ステレオ付属情報生成部５に設定しておく。一方、アスペクト比調整入力部２からは、使用する印刷用紙の縦横比に合わせたアスペクト調整比を入力して、画像合成部７に画像合成用のアスペクト調整比として設定しておく。

ステレオ付属情報生成部５および画像合成部７の設定完了後、画像入力部１にて右眼用と左眼用の各画像ファイル１１Ｒ，１１Ｌを入力し、各画像ファイル１１Ｒ，１１Ｌにおける画像本体１３Ｒ，１３Ｌを画像合成部７へわたす一方、データ分離出力部４にて、各画像ファイル１１Ｒ，１１Ｌのヘッダ情報１２Ｒ，１２Ｌを分離抽出してステレオ付属情報生成部５へ出力する。

ステレオ付属情報生成部５は、データ分離出力部４より各画像ファイル１１Ｒ，１１Ｌのヘッダ情報１２Ｒ，１２Ｌを取得すると、このヘッダ情報１２Ｒ，１２Ｌと、既にステレオ（アダプタ）情報入力部３からの入力によって設定されているステレオ情報（少なくとも平行法／交差法識別情報）とからパディングデータ生成部６およびデータ多重化部９に出力するステレオ付属情報を生成し、それぞれに出力する。すなわち、ステレオ付属情報生成部５は、平行法／交差法識別情報に基づいてパディングデータ生成用のステレオ付属情報を生成してパディングデータ生成部６に出力するとともに、各画像ファイル１１Ｒ，１１Ｌのヘッダ情報１２Ｒ，１２Ｌとステレオ（アダプタ）情報入力部３からの入力によって設定されているステレオ情報からデータ多重化用のステレオ付属情報を生成してデータ多重化部９に出力する。

パディングデータ生成部６は、ステレオ付属情報生成部５からの、平行法／交差法識別情報に対応するステレオ付属情報に基づいて、画像本体１３Ｒ，１３Ｌと合成するパディングデータを生成する。パディングデータは、視覚的な特徴により平行法／交差法識別情報を表したものであり、たとえば、色、パターンなど、人間が一目でその特徴を見分けることのできるような表現が採用されている。なお、パディングデータはサイズに関する情報を含むものではない。

パディングデータ生成部６によって生成されたパディングデータは画像合成部７へ送られる。画像合成部７は、画像入力部１より渡された右眼用と左眼用の各画像本体１３Ｒ，１３Ｌと、パディングデータ生成部６からのパディングデータとを合成して、アスペクト比調整入力部２からの入力により設定されたアスペクト調整比をもつ一つの画像データを生成する。

図３および図４は画像合成部７によって生成された合成画像２０，３０の例を示し、図３は各画像本体１３Ｒ，１３Ｌが平行法のステレオ画像である場合の合成画像２０、図４は各画像本体１３Ｒ，１３Ｌが交差法のステレオ画像である場合の合成画像３０をそれぞれ示している。このように平行法と交差法とでは、各画像本体１３Ｒ，１３Ｌの水平方向の並び順が逆になる。

本例では、左右の画像本体１３Ｒ，１３Ｌの上下に、視覚的な平行法／交差法識別情報であるパディングデータ１４，１５が配置されている。この合成画像２０，３０の縦横のサイズはアスペクト比調整入力部２より入力されたアスペクト調整比によって決められている。すなわち、図３において、左右に並べた各画像本体１３Ｒ，１３Ｌの長辺の長さ（この例では水平方向の長さ）を合成画像２０の長辺の長さＸとし、さらにこの長辺の長さＸとアスペクト調整比とから、合成画像２０の短辺の長さＹ（この例では鉛直方向の長さ）を決定する。すなわち、画像合成部７は、合成画像の縦横のサイズが、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調整して、左右の画像本体１３Ｒ，１３Ｌに合成する。

合成画像２０，３０における各画像本体１３Ｒ，１３Ｌの鉛直方向の位置はシステム固有とされ、この例では、鉛直方向のほぼ中間の位置に各画像本体１３Ｒ，１３Ｌが配置されるように決められている。したがって、本例では、合成画像２０，３０において、各画像本体１３Ｒ，１３Ｌの上下にパディングデータ１４，１５の領域が確保されることになる。ただし、このように各画像本体１３Ｒ，１３Ｌの上下にパディングデータ１４，１５の領域を確保した配置は一例にすぎない。各画像本体１３Ｒ，１３Ｌの上、もしくは下の一方にだけパディングデータの領域を確保するようにしてもよい。

上記のように画像合成部７によって得られた合成画像データは、画像エンコード部８によって、たとえばＪＰＥＧ方式などの所定の方式で圧縮符号化されてデータ多重化部９に送られ、ここで、圧縮符号化された合成画像データと、ステレオ付属情報生成部５からのステレオ付属情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが作成される。図５に、このステレオ画像のファイル４０の構成を示す。同図に示すように、ステレオ画像のファイル４０は、圧縮符号化された合成画像データ１６、ヘッダ情報１７、ファイル４０の先頭を示すＳＯＩ１８、ファイル４０の最後を示すＥＯＩ１９などで構成される。作成されたステレオ画像のファイル４０は記録媒体書き込み部１０によって記録媒体に記録される。

このステレオ画像のファイル４０に格納されているステレオ画像を立体視表示させるには、圧縮符号化された合成画像データの復号解凍とヘッダ情報の復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイル４０を読み込ませる。再生機器は、読み込んだステレオ画像のファイル４０からヘッダ情報１７を分離抽出してこれを復号するとともに、圧縮符号化された合成画像データ１６を復号解凍して元の合成画像を復元する。さらに、再生機器は、合成画像からパディングデータ以外の右眼用と左眼用の画像データを分離抽出し、これら右眼用と左眼用の画像データとヘッダ情報１７の復号結果とに基づきステレオ画像の立体視表示を行う。

また、ステレオ画像のファイル４０に格納されているステレオ画像を裸眼にて観察する際には、ステレオ画像ファイル４０の圧縮符号化された合成画像データの復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイル４０を読み込ませる。これにより、図３または図４に示したように、右眼用と左眼用の各画像本体１３Ｒ，１３Ｌとパディングデータ１４，１５との合成画像２０または合成画像３０が再現される。この際、観察者は、表示されているパディングデータ１４，１５の色やパターンなどの視覚的な特徴から、右眼用と左眼用の各画像本体１３Ｒ，１３Ｌが平行法のステレオ画像であるか、交差法のステレオ画像であるかを一目で判別することができる。したがって、即座に適切な観察方法による立体視観察を試みることができ、観察者の余計な負担を排除することができる。

また、記録媒体に記録された画像本体とパディングデータとの合成画像は、使用される印字用紙の縦横比に合わせてアスペクト比が決められているので、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用紙に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデータ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像を交差法で観察すればよいか、平行法で観察すればよいかを一目で判別することができる。

なお、平行法のパディングデータと交差法のパディングデータの差異は、ステレオ画像処理装置では判別できるが、人間が視認できない程度であってもよい。例えば平行法のパディングデータと交差法のパディングデータとに、視覚的には判別できない程度の微小な濃度差を持たせ、ステレオ画像処理装置で、その濃度情報である画素値から、平行法のパディングデータと交差法のパディングデータとを判別する方式などが考えられる。この場合、ヘッダ情報がなくてもステレオ画像処理装置により正しく再生を行うことが可能となる。また、判別した結果をもとにヘッダ情報を作成することも可能である。

次に、本発明の他の実施形態を説明する。

上記の実施形態では、右眼用と左眼用の２つの画像データをパディングデータと合成するものとしたが、３つ以上の視点（複眼）の画像データとパディングデータとを合成するようにしてもよい。

ここで、各々の画像ファイルは、たとえば、図６に示すように、１つの被写体６０を、前後左右に並べて配置された複数のデジタルスチルカメラ６１（０，０）・・・６１（３，２）によって同時に撮像して得られた各々の画像データに、立体視表示制御のためのステレオ情報をヘッダ情報として付加したものである。

図７は、この実施形態に係わるステレオ画像処理装置２００の全体的な構成を示すブロック図である。

同図に示すように、このステレオ画像処理装置２００は、画像入力部７１、アスペクト比調整入力部７２、ステレオ（アダプタ）情報入力部７３、データ分離出力部７４、ステレオ付属情報生成部７５、パディングデータ生成部７６、画像合成部７７、画像エンコード部７８、データ多重化部７９、記録媒体書き込み部８０を備えている。

画像入力部７１は、複数のデジタルスチルカメラ６１（０，０）・・・６１（３，２）によって同時に撮像して得られた各々の画像本体にそれぞれ、ステレオ画像であることを示す識別情報、視点（カメラ）の位置の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御のためのステレオ情報がヘッダ情報として付加された複数の画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）を入力するための手段である。

データ分離出力部７４は、画像入力部７１にて入力された複数の画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）からヘッダ情報を分離してステレオ付属情報生成部７５に出力するための手段である。

ステレオ（アダプタ）情報入力部７３は、入力された画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）に含まれる内容以外のステレオ情報、少なくとも、入力された各画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）の画像が平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力するための手段である。

ステレオ付属情報生成部７５は、ステレオ（アダプタ）情報入力部７３より入力されたステレオ情報とデータ分離出力部７４より出力されたヘッダ情報に基づいて、パディングデータ生成部７６およびデータ多重化部７９に出力するステレオ付属情報を生成する。ここで、パディングデータ生成部７６へは平行法／交差法識別情報の内容がステレオ付属情報として出力され、データ多重化部７９へはステレオ（アダプタ）情報入力部７３より入力されたステレオ情報とデータ分離出力部７４より出力されたヘッダ情報のすべての内容がステレオ付属情報として出力される。

パディングデータ生成部７６は、ステレオ付属情報生成部７５からのステレオ情報（平行法／交差法識別情報の内容）に基づいて、複数の画像本体と合成するパディングデータを生成して画像合成部７７に出力する。

アスペクト比調整入力部７２は、出力するステレオ画像とパディングデータとの合成画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、たとえば使用される印字用紙の縦横比に合わせて入力される。

画像合成部７７は、画像入力部７１より入力された複数の画像データとパディングデータ生成部７６により生成されたパディングデータとを合成して、アスペクト比調整入力部７２より入力されたアスペクト調整比をもつ一つの画像データを生成する手段である。

画像エンコード部７８は、画像合成部７７にて合成された画像データをたとえばＪＰＥＧ方式などの所定の方式で圧縮符号化する手段である。

データ多重化部７９は、画像エンコード部７８によって圧縮符号化された画像データとステレオ付属情報生成部７５より出力されたステレオ付属情報とを多重化する手段である。ここで、ステレオ付属情報は画像ファイルのヘッダ情報として付加される。

記録媒体書き込み部８０は、データ多重化部７９によって生成された画像ファイルを、書き込み可能または書き換え可能な不揮発性の記録媒体（たとえばＥＥＰＲＯＭなど）に書き込む手段である。

次に、このステレオ画像処理装置２００の動作を説明する。

複数の画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）として、それぞれステレオ画像であることを示す識別情報、視点（カメラ）の位置の識別情報、水平視点数（画像数）、水平シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情報として付加された複眼の各画像ファイルを入力する場合を考える。この場合には、画像ファイルの入力前に、ステレオ（アダプタ）情報入力部７３より、これから入力される画像ファイルが平行法と交差法のどちらのステレオ画像であるかを示す平行法／交差法識別情報を入力して、ステレオ付属情報生成部５に設定しておく。一方、アスペクト比調整入力部７２からは、使用する印刷用紙の縦横比に合わせたアスペクト調整比を入力して、画像合成部７７に画像合成用のアスペクト調整比として設定しておく。

ステレオ付属情報生成部７５および画像合成部７７の設定完了後、画像入力部７１にて複数の画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）を入力し、各画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）における画像本体を画像合成部７７へわたす一方、データ分離出力部７４にてヘッダ情報を分離抽出してステレオ付属情報生成部７５へ出力する。

ステレオ付属情報生成部７５は、データ分離出力部７４より各画像ファイル６２（０，０），６２（０，１），・・・，６２（３，２）のヘッダ情報を取得すると、これらのヘッダ情報と、既にステレオ（アダプタ）情報入力部７３からの入力によって設定されているステレオ情報（少なくとも平行法／交差法識別情報）とからパディングデータ生成部７６およびデータ多重化部７９に出力するステレオ付属情報を生成して、それぞれに出力する。すなわち、ステレオ付属情報生成部７５は、平行法／交差法識別情報に基づいてパディングデータ生成用のステレオ付属情報を生成してパディングデータ生成部７６に出力するとともに、各画像ファイルのヘッダ情報の内容とステレオ（アダプタ）情報入力部７３からの入力によって設定されているステレオ情報からデータ多重化用のステレオ付属情報を生成してデータ多重化部７９に出力する。

パディングデータ生成部７６は、ステレオ付属情報生成部７５からの、平行法／交差法識別情報に対応するステレオ付属情報に基づいて、複数の画像本体と合成するパディングデータを生成する。パディングデータは、視覚的な特徴により平行法／交差法識別情報を表したものであり、たとえば、色、パターンなど、人間が一目でその特徴を見分けることのできるような表現が採用されている。なお、パディングデータはサイズに関する情報を含むものではない。

パディングデータ生成部７６によって生成されたパディングデータは画像合成部７７へ送られる。画像合成部７７は、画像入力部７１より渡された複数の画像本体と、パディングデータ生成部７６からのパディングデータとを合成して、アスペクト比調整入力部７２からの入力により設定されたアスペクト調整比をもつ一つの画像データを生成する。

図８および図９は画像合成部７７によって生成された合成画像８１，８２の例を示し、図８は各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）が平行法のステレオ画像である場合の合成画像８１、図９は各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）が交差法のステレオ画像である場合の合成画像８２をそれぞれ示している。このように平行法と交差法とでは、各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）の水平方向の並び順が逆になる。ただし、上下の位置関係は共通である。

本例では、各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）の上下にパディングデータ６４，６５が配置されている。各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）はそれぞれ水平方向の端どうし、鉛直方向の端どうしが互いに接するように一体化して配置される。この合成画像８１，８２の縦横のサイズはアスペクト比調整入力部７２より入力されたアスペクト調整比に従って決められる。具体的には、図８において、一体化された画像本体６３の長辺の長さ（この例では水平方向の長さ）を合成画像８１の長辺の長さＸとし、さらにこの長辺の長さＸとアスペクト調整比とから合成画像８１の短辺の長さＹ（この例では鉛直方向の長さ）を決定する。すなわち、画像合成部７７は、合成画像８１の縦横のサイズが、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調整して、一体化された画像本体６３に合成する。

合成画像８１，８２における一体化された画像本体６３の鉛直方向の位置はシステム固有とされ、この例では、鉛直方向のほぼ中間の位置に、一体化された画像本体６３がくるように決められている。したがって、本例では、合成画像８１，８２において、一体化された画像本体６３の上下にパディングデータ６４，６５の領域が確保されている。ただし、このように一体化された画像本体６３の上下にパディングデータ６４，６５の領域を確保した配置は一例にすぎない。一体化された画像本体６３の上、もしくは下の一方にだけパディングデータの領域を確保するようにしてもよい。

上記のように画像合成部７７によって得られた合成画像データは、画像エンコード部７８によって、たとえばＪＰＥＧ方式などの所定の方式で圧縮符号化されてデータ多重化部７９に送られ、ここで、圧縮符号化された合成画像データと、ステレオ付属情報生成部７５からのステレオ付属情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが作成される。作成されたステレオ画像のファイルは記録媒体書き込み部８０によって記録媒体に記録される。

このステレオ画像のファイルに格納されているステレオ画像を立体視表示させるには、圧縮符号化された合成画像データの復号解凍とヘッダ情報の復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイルを読み込ませる。再生機器は、読み込んだステレオ画像のファイルからヘッダ情報を分離抽出してこれを復号するとともに、圧縮符号化された合成画像データを復号解凍して元の合成画像を復元する。さらに、再生機器は、合成画像からパディングデータ以外の複数の画像データを分離抽出し、これら複数の画像データとヘッダ情報の復号結果とに基づきステレオ画像の立体視表示を行う。

また、ステレオ画像のファイルに格納されているステレオ画像を裸眼にて観察する際には、ステレオ画像ファイルの圧縮符号化された合成画像データの復号が可能な再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイルを読み込ませる。これにより、図８または図９に示したように、複数の画像本体６３（０，０），６３（０，１），・・・，６３（３，２）とパディングデータ６４，６５との合成画像８１または合成画像８２が再現される。この際、観察者は、表示されているパディングデータ６４，６５の色やパターンなどの視覚的な特徴から、各画像本体６３（０，０），６３（０，１），・・・，６３（３，２）が平行法のステレオ画像であるか、交差法のステレオ画像であるかを一目で判別することができる。したがって、即座に適切な観察方法による立体視観察を試みることができ、観察者の余計な負担を排除することができる。
また、記録媒体に記録された画像本体とパディングデータとの合成画像は、使用される印字用紙の縦横比に合わせてアスペクト比が決められているので、たとえば、必要に応じて合成画像全体の拡大／縮小を行うだけで、合成画像の全体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用紙に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデータ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像を交差法で観察すればよいか、平行法で観察すればよいかを一目で判別することができる。
また、上記実施形態で示したステレオ画像処理装置１００のステレオ画像処理のための機能は、ＰＣなどのコンピュータを機能させるためのプログラムとして提供されるようにしてもよい。

本発明の一実施形態に係わるステレオ画像処理装置の全体的な構成を示すブロック図である。 図１のステレオ画像処理装置に入力される画像ファイルの構成を示す図である。 画像が平行法のステレオ画像である場合の合成画像の例を示す図である。 画像が交差法のステレオ画像である場合の合成画像の例を示す図である。 図１のステレオ画像処理装置より出力されるステレオ画像のファイルの構成を示す図である。 １つの被写体を前後左右に並べて配置された複数のデジタルスチルカメラで撮像する形態を示す図である。 本発明の別の実施形態に係わるステレオ画像処理装置の全体的な構成を示すブロック図である。 図７の実施形態において画像が平行法のステレオ画像である場合の合成画像の例を示す図である。 図７の実施形態において画像が交差法のステレオ画像である場合の合成画像の例を示す図である。 平面画像を立体画像として認識させる平行法を説明するための図である。 平面画像を立体画像として認識させる交差法を説明するための図である。 ステレオ画像の印刷上の問題を説明するための図である。

符号の説明

１ 画像入力部
２ アスペクト比調整入力部
３ ステレオ（アダプタ）情報入力部
４ データ分離出力部
５ ステレオ付属情報生成部
６ パディングデータ生成部
７ 画像合成部
８ 画像エンコード部
９ データ多重化部
１０ 記録媒体書き込み部
１１Ｒ，１１Ｌ 画像ファイル
１２Ｒ，１２Ｌ ヘッダ情報
１３Ｒ，１３Ｌ 画像本体
１４，１５ パディングデータ
１６ 合成画像データ
１７ ヘッダ情報
４０ ステレオ画像ファイル
１００ ステレオ画像処理装置

Claims (5)

1. ステレオ画像を構成する複数の画像データを入力する画像入力手段と、
   前記入力された複数の画像データのステレオ情報を表すためのパディングデータを生成するパディングデータ生成手段と、
   アスペクト調整比を入力するアスペクト比調整入力手段と、
   合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと、前記画像入力手段により入力された複数の画像データとを領域を区分して合成して出力する画像合成手段と
   を具備することを特徴とするステレオ画像処理装置。
2. 前記ステレオ情報が、前記画像データが平行法または交差法のどちらのステレオ画像であるかを表す情報であることを特徴とする請求項１に記載のステレオ画像処理装置
3. 前記パディングデータは、視覚的特徴によって判別可能な画像であることを特徴とする請求項１に記載のステレオ画像処理装置。
4. 画像入力手段により、ステレオ画像を構成する複数の画像データを入力するステップと、
   パディングデータ生成手段により、前記入力された複数の画像データのステレオ情報を表すためのパディングデータを生成するステップと、
   アスペクト比調整入力手段により、アスペクト調整比を入力するステップと、
   画像合成手段により、合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと、前記画像入力手段により入力された複数の画像データとを領域を区分して合成して出力するステップと
   を具備することを特徴とするステレオ画像処理方法。
5. コンピュータを、
   ステレオ画像を構成する複数の画像データを入力する画像入力手段と、
   前記入力された複数の画像データのステレオ情報を表すためのパディングデータを生成するパディングデータ生成手段と、
   アスペクト調整比を入力するアスペクト比調整入力手段と、
   合成画像の縦横のサイズが前記アスペクト比調整入力手段により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変調整し、このサイズを可変調整したパディングデータと、前記画像入力手段により入力された複数の画像データとを領域を区分して合成して出力する画像合成手段として機能させるステレオ画像処理用プログラム。

Images