JP4133356B2

JP4133356B2 - 画像の合成装置、合成方法、およびその方法を実現するプログラム

Info

Publication number: JP4133356B2
Application number: JP2003006754A
Authority: JP
Inventors: 純一清水
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-01-15
Filing date: 2003-01-15
Publication date: 2008-08-13
Anticipated expiration: 2023-01-15
Also published as: JP2004221927A

Description

【０００１】
【発明の属する技術分野】
本発明は、右目用の画像と左目用の画像から構成され、それぞれの画像を右目と左目が個々に見ることによって立体視できるようにしたステレオ画像を作成する技術に関し、特にステレオ画像を高い自由度で合成する技術に関する。
【０００２】
【従来の技術】
従来から、ステレオ画像を右目と左目とに個別に認識させる方法について提案されている。
【０００３】
特開平１−１５６７９１号公報（特許文献１）は、特殊な眼鏡をかけることなく、裸眼でステレオ画像を立体視できる３次元ディスプレイ装置を開示する。この公報に開示された３次元ディスプレイ装置は、離散的フーリエ変換画像または視差画像を画像表示装置に表示してステレオ画像を再生する３次元ディスプレイ装置において、画像表示装置の表面側に配置され、サンプリング部が水平方向にレンズ作用を有すると共に、千鳥状に配列された千鳥スリットを含む。
【０００４】
この３次元ディスプレイ装置によると、千鳥スリットは、表示される画像をさえぎることで、右目用の画像が左目に、左目用の画像が右目に入ることを防ぐ。千鳥スリットのサンプリング部は、右目用の画像が右目に、左目用の画像が左目に入るように表示される画像を透過する。これにより、千鳥スリットは、右目用の画像を右目に、左目用の画像を左目に、それぞれ直接かつ個別に見せることができる。その結果、ユーザが特殊な眼鏡をかけることなく、裸眼でステレオ画像を立体視できるディスプレイ装置を提供することができる。
【０００５】
「液晶パララックスバリヤ方式３次元画像ディスプレイ」（非特許文献１）は、特殊な眼鏡をかけることなく、裸眼でステレオ画像を立体視できるディスプレイ装置を開示する。この文献に開示されたディスプレイ装置は、積層された２枚の液晶パネルと、２枚の液晶パネルの間に挿入されたフレネルレンズと、２枚の液晶パネルの背後から光を照射するバックライトと、液晶パネルを制御する制御装置とを含む。２枚の液晶パネルは、偏光板の偏光方向が一致する向きに積層され、そのうち１枚は３次元画像を表示するパネルである。他の１枚はスリットを表示するパネルである。
【０００６】
このディスプレイ装置によると、液晶パネルの１枚に表示される３次元画像は、他の１枚のパネルに表示されるスリットによってさえぎられる。これにより、３次元画像のうち、右目用の画像が左目に、左目用の画像が右目に入ることを防ぐ結果、右目用の画像を右目に、左目用の画像を左目に、それぞれ直接かつ個別に見せることができる。その結果、ユーザが特殊な眼鏡をかけることなく、裸眼でステレオ画像を立体視できるディスプレイ装置を提供することができる。
【０００７】
【特許文献１】
特開平１−１５６７９１号公報（第４頁）
【０００８】
【非特許文献１】
磯野、安田および笹沢著「液晶パララックスバリヤ方式３次元画像ディスプレイ」（電子情報通信学会論文誌C-II Vol.J76-C-II No.1、1993年1月、第２４−２５頁）
【０００９】
【発明が解決しようとする課題】
しかし、前述の文献に記載された装置を用いてステレオ画像を表示するために既存のステレオ画像と他の画像とを合成する場合、従来の合成装置を用いると仮想立体空間内での他の画像の位置が固定される問題がある。すなわち、合成されたステレオ画像が構成する仮想立体空間内において、ユーザや既存のステレオ画像の提供者は前述した他の画像の位置を指定することができない。
【００１０】
本発明は、上述の問題を解決するためになされたものであって、その目的は、ステレオ画像の仮想立体空間内における画像の位置を、ユーザおよび画像データの提供者などが自由に設定できる画像の合成装置、画像の合成方法、その方法を実現するプログラムを提供することにある。
【００１１】
【課題を解決するための手段】
第１の発明に係る画像の合成装置は、ステレオ画像および平面画像を合成する装置である。平面画像を表わす平面画像データを入力するための第１の入力手段と、ステレオ画像を表わすステレオ画像データを含む複合データを入力するための第２の入力手段と、データを記憶するための記憶手段と、記憶されたデータを用いて、平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成するための合成手段とを含み、複合データは、ステレオ画像データの提供者が生成したデータであって、該ステレオ画像の仮想立体空間内の奥行き方向における平面画像の位置関係を特定できる距離データを含んでおり、、合成手段は、平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化手段と、ステレオ画像化手段によりステレオ画像化されたデータとステレオ画像データとを合成して、距離データにより表わされるステレオ画像の仮想立体空間内における位置に平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成手段とを含む。
【００１２】
第１の発明によると、距離データとは、ステレオ画像の仮想立体空間内における平面画像の位置関係を表わすデータである。距離データが得られると、合成手段はステレオ画像に対する平面画像の位置的な関係を特定できる。ステレオ画像に対する平面画像の位置的な関係を特定できるので、合成手段は、距離データに基づき、作成されるステレオ画像に矛盾が発生しないようにステレオ画像と平面画像とを合成できる。距離データは、複合データに含まれるデータである。これにより、ステレオ画像データの提供者は、任意の距離データを複合データに挿入することができるので、ステレオ画像の仮想立体空間内における、合成される平面画像の位置を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内における平面画像の位置を、ステレオ画像データの提供者が自由に設定できる画像の合成装置を提供できる。
【００１３】
第２の発明に係る画像の合成装置は、ステレオ画像および平面画像を合成する装置である。平面画像を表わす平面画像データを入力するための第１の入力手段と、ステレオ画像の仮想立体空間内の奥行き方向における平面画像の位置関係を特定できる距離データを入力するための第２の入力手段と、平面画像データを記憶し、かつステレオ画像を表わすステレオ画像データを予め記憶するための記憶手段と、記憶されたデータを用いて、平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成するための合成手段とを含み、合成手段は、平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化手段と、ステレオ画像化手段によりステレオ画像化されたデータとステレオ画像データとを合成して、距離データにより表わされるステレオ画像の仮想立体空間内における位置に平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成手段とを含む。
【００１４】
第２の発明によると、距離データとは、ステレオ画像の仮想立体空間内における平面画像の位置関係を表わすデータである。距離データが得られると、合成手段はステレオ画像に対する平面画像の位置的な関係を特定できる。ステレオ画像に対する平面画像の位置的な関係を特定できるので、合成手段は、距離データに基づき、作成されるステレオ画像に矛盾が発生しないようにステレオ画像と平面画像とを合成できる。距離データは、第２の入力手段を用いてユーザが入力するデータである。これにより、ユーザは、任意の距離データを入力することができるので、ステレオ画像の仮想立体空間内における、合成される平面画像の位置を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内における平面画像の位置を、ユーザが自由に設定できる画像の合成装置を提供できる。
望ましくは、合成画像データ作成手段により作成された画像データに基づいて１のステレオ画像を表示する合成画像表示手段をさらに含み、第２の入力手段は、合成画像表示手段により１のステレオ画像が表示された後、距離データの再入力を受付ける再入力受付手段を含み、ステレオ画像化手段は、再入力受付手段により距離データの再入力が受付けられた場合に、該再入力された距離データに基づいてずらす大きさを再度決定し、該再決定された大きさだけずれた視差を有するステレオ画像にする処理を再度実行し、合成画像データ作成手段は、ステレオ画像化手段により再度ステレオ画像化されたデータに基づいて１のステレオ画像を表わす画像データを再度作成する。
【００１５】
第３の発明に係る画像の合成方法は、ステレオ画像および平面画像を合成する方法である。平面画像を表わす平面画像データを入力する第１の入力ステップと、ステレオ画像を表わすステレオ画像データを含む複合データを入力する第２の入力ステップと、データを記憶する記憶ステップと、記憶されたデータを用いて、平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成する合成ステップとを含み、複合データは、ステレオ画像データの提供者が生成したデータであって、該ステレオ画像の仮想立体空間内の奥行き方向における平面画像の位置関係を特定できる距離データを含んでおり、合成ステップは、平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化ステップと、ステレオ画像化ステップによりステレオ画像化されたデータとステレオ画像データとを合成して、距離データにより表わされるステレオ画像の仮想立体空間内における位置に平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成ステップとを含む。
【００１６】
第３の発明によると、距離データとは、ステレオ画像の仮想立体空間内における平面画像の位置関係を表わすデータである。距離データが得られると、合成ステップにおいてステレオ画像および平面画像の位置的な関係を特定できる。ステレオ画像および平面画像の位置的な関係を特定できるので、合成ステップは、距離データに基づき、作成されるステレオ画像に矛盾が発生しないようにステレオ画像と平面画像とを合成できる。距離データは、複合データに含まれるデータである。これにより、ステレオ画像データの提供者は、任意の距離データを複合データに挿入することができるので、ステレオ画像の仮想立体空間内における、合成される平面画像の位置を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内における平面画像の位置を、ステレオ画像データの提供者が自由に設定できる画像の合成方法を提供できる。
【００１７】
第４の発明に係る画像の合成方法は、ステレオ画像および平面画像を合成する方法である。平面画像を表わす平面画像データを入力する第１の入力ステップと、ステレオ画像の仮想立体空間内の奥行き方向における平面画像の位置関係を特定できる距離データを入力する第２の入力ステップと、平面画像データを記憶し、かつステレオ画像を表わすステレオ画像データを予め記憶する記憶ステップと、記憶されたデータを用いて、平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成する合成ステップとを含み、合成ステップは、平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化ステップと、ステレオ画像化ステップによりステレオ画像化されたデータとステレオ画像データとを合成して、距離データにより表わされるステレオ画像の仮想立体空間内における位置に平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成ステップとを含む。
【００１８】
第４の発明によると、距離データとは、ステレオ画像の仮想立体空間内における平面画像の位置関係を表わすデータである。距離データが得られると、合成ステップにおいてステレオ画像および平面の画像の位置的な関係を特定できる。ステレオ画像および平面画像の位置的な関係を特定できるので、合成ステップは、距離データに基づき、作成されるステレオ画像に矛盾が発生しないようにステレオ画像と平面画像とを合成できる。距離データは、第２の入力ステップを用いてユーザが入力するデータである。これにより、ユーザは、任意の距離データを入力することができるので、ステレオ画像の仮想立体空間内における、合成される平面画像の位置を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内における平面画像の位置を、ユーザが自由に設定できる画像の合成方法を提供できる。
【００１９】
第５の発明にかかるプログラムは、第３または第４の発明に記載の画像の合成方法をコンピュータに実現させるためのものである。
【００２０】
第５の発明によると、ステレオ画像の仮想立体空間内における画像の位置を、ユーザおよび画像データの提供者などが自由に設定できる画像の合成方法を実現するプログラムを提供することができる。
【００２３】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。なお、以下においては携帯電話について説明するが、本発明はこれに限定されない。
【００２４】
＜第１の実施の形態＞
図１を参照して、本実施の形態に係る携帯電話１０２は、制御部１０４と、無線部１０６と、カメラ１０８と、処理部１１０と、記憶部１１２と、変換部１１４と、合成部１１６と、表示部１１８と、操作部１２０と、入力部１２２と、出力部１２４と、電源部１２６とを含む。
【００２５】
制御部１０４は、携帯電話１０２の各部を制御する。無線部１０６は、電話回線へのアクセスポイントにデータ要求などの信号を送信したり、画像データを受信したりする。カメラ１０８は、画像を撮影する。処理部１１０は、カメラ１０８で撮影された画像の画像データを、選択されたサイズや画像圧縮形式に合致するように処理する。記憶部１１２は、携帯電話１０２を制御するためのプログラムに加え、画像データや位置データを含む各種のデータを記憶する。変換部１１４は、画像データを変換する。合成部１１６は、平面画像とステレオ画像とを合成して１つの画像データに合成する。
【００２６】
表示部１１８は、画像を含む情報を表示する。操作部１２０は、ユーザが携帯電話１０２を操作する。入力部１２２は、外部からの音声を入力する。出力部１２４は、外部への音声を出力する。電源部１２６は、携帯電話１０２を構成する各部に電力を供給する。
【００２７】
図２を参照して、無線部１０６を用いて受信するデータのフォーマットを説明する。このデータは、コード用エリア１３２と、ヘッダ用エリア１３４と、画像データＡ用エリア１３６と、位置データ用エリア１３８とを含む。コード用エリア１３２は、データの宛先を含み、送受信されるすべてのデータに付加される。ヘッダ用エリア１３４は、通信のリンクを制御するために必要な値を含む。画像データＡ用エリア１３６は、合成されるステレオ画像の画像データ（以下、画像データＡとする）を含む。位置データ用エリア１３８は、位置データを表わすデータを含む。
【００２８】
記憶部１１２は、カメラ１０８で撮影された画像の画像データに加え、無線部１０６を用いて受信した、画像データＡおよび位置データを含むデータを記憶する。位置データとは、たとえば中心軸を含む面といった、ステレオ画像に含まれる予め定められた面と、ステレオ画像に合成される画像中の任意の点との距離を表わす情報である。位置データがあれば、その合成される画像をステレオ画像中に含むようにステレオ画像を作成することが可能である。図３を参照して、その理由および立体視の原理について説明する。
【００２９】
図３に示す、任意の仮想的な空間２００は、任意のＡ点２１０、Ｂ点２１２、およびＣ点２１４を含む。Ａ点２１０は、基準面２１８に対して手前の面２２０上に存在する。Ｂ点２１２は、基準面２１８上に存在する。Ｃ点２１４は、基準面２１８に対して奥の面２１６上に存在する。基準面２１８は実際に画像を表示している面であり、本実施の形態の場合、携帯電話１０２の表示部１１８がこれに該当する。
【００３０】
人間が立体を見ると、視差が発生する。ユーザが空間２００を見た場合、ユーザの右目２２２は、Ａ点２１０が基準面２１８上の投影点２０２に、Ｂ点２１２が基準面２１８上の実際の位置に、Ｃ点２１４が基準面２１８上の投影点２０８にあるように知覚する。ユーザの左目２２４は、Ａ点２１０が基準面２１８上の投影点２０４に、Ｂ点２１２が基準面２１８上の実際の位置に、Ｃ点２１４が基準面２１８上の投影点２０６にあるように知覚する。図４を参照して、ユーザの両目がそれぞれ知覚する像を説明する。図４（Ａ）は右目が知覚する像、図４（Ｂ）は左目が知覚する像を表わす。図３における視差は、これらの点それぞれについての、投影点の差に相当する。
【００３１】
ステレオ画像を立体視させる場合、この視差を利用する。視差が存在すると、ユーザの脳は両目から得た画像に基づいて、立体空間を構成する。これにより、意識的に視差を発生させると、ユーザに平面的な画像を立体視させることができる。たとえば、図４（Ａ）の画像をユーザの右目２２２に、図４（Ｂ）の画像を左目２２４に観察させると、ユーザはＡ点２１０を図３に示す手前の面２２０上に、Ｂ点２１２を基準面２１８上に、Ｃ点２１４を奥の面２１６上に知覚する。その結果、ユーザは画像を立体的に見ることができる。
【００３２】
以上の立体視の原理において、１の画像中の視差に矛盾があるとユーザの脳は立体空間を正しく構成することができなくなる。このため、複数の画像を合成してステレオ画像を作成する場合、合成される画像のすべての要素について、視差に矛盾が生じないように合成する必要がある。視差に矛盾が生じないように合成するためには、合成される画像のすべての要素について、構成される立体空間における空間座標を特定する必要がある。空間座標を特定するためには、合成される画像同士の相対的な位置関係を把握する必要がある。本実施の形態の場合、合成される画像同士の相対的な位置関係のうち、画像の左右および上下方向の位置関係は一致することが前提となっている。この前提が存在するので、位置データを決定すると、その画像を右目用画像と左目用画像に分解した時の視差を、矛盾が生じないように決定することができる。これにより、位置データを決定すれば、合成される画像を立体画像中に含むようにステレオ画像を作成することが可能となる。
【００３３】
図５を参照して、本実施の形態に係る携帯電話１０２で実行されるプログラムは、ステレオ画像の合成に関し、以下のような制御構造を有する。
【００３４】
ステップ（以下、ステップをＳと略す）１００にて、制御部１０４は、無線部１０６を用いてインターネットから画像データＡと位置データとが含まれたデータを受信し、記憶部１１２に保存する。
【００３５】
Ｓ１０２にて、制御部１０４は、受信したデータから位置データを抽出し、記憶部１１２に保存する。Ｓ１０４にて、制御部１０４は、操作部１２０に入力されたユーザの指示に基づき、カメラ１０８を用いて、画像を撮影する。画像を撮影すると、制御部１０４は、処理部１１０を用いて、画像のサイズや画像圧縮形式を選択し、撮影された画像の画像データを処理し、記憶部１１２に保存する。
【００３６】
Ｓ１０６にて、制御部１０４は、変換部１１４を用いて、撮影した画像の画像データを１つのステレオ画像の画像データに変換する（以下、画像データＢとする）。画像データの変換は、記憶部１１２に保存された位置データに基づき、撮影した画像の各画素に応じた視差を持たせ、右目用の画像と左目用の画像とに分解することにより行なわれる。
【００３７】
Ｓ１０８にて、制御部１０４は、合成部１１６を用いて、画像データＡと画像データＢとを合成し、１つのステレオ画像の画像データ（以下、画像データＣとする）を作成し、記憶部１１２に保存する。その際、制御部１０４は、画像データＡに含まれた画像データの右目用の画像と左目用の画像とのそれぞれを、画像データＢの右目用の画像と左目用の画像のそれぞれにはめ込み、画像データを合成する。さらに、画像データＢの右目用の画像と左目用の画像とのそれぞれについて透過する範囲を予め定めることで、合成されるステレオ画像での位置関係を調節する。
【００３８】
Ｓ１１０にて、制御部１０４は、画像データＣを表示部１１８に表示する。
図６を参照して、以上のような構造およびフローチャートに基づく、携帯電話１０２の動作について説明する。
【００３９】
制御部１０４は、たとえばインターネットから画像データＡが含まれたデータを受信し、記憶部１１２に保存する（Ｓ１００）。画像データＡが保存されると、制御部１０４は、受信したデータから、位置データを抽出し、記憶部１１２に保存する（Ｓ１０２）。位置データが抽出されてそれらが保存されると、制御部１０４は、操作部１２０に入力されたユーザの指示に基づき、カメラ１０８および処理部１１０を用いて、画像を撮影し、画像データとして記憶部１１２に保存する（Ｓ１０４）。
【００４０】
カメラ１０８を用いて撮影した画像データが保存されると、制御部１０４は、変換部１１４を用いて、撮影した画像データをステレオ画像の画像データＢに変換する（Ｓ１０６）。このようにして得られた画像データＢを仮に表示部１１８に表示させて立体視した場合、表示部１１８には位置データで指定された面に撮影した画像が位置する様に表示される。画像データが変換されると、制御部１０４は、合成部１１６を用いて、画像データＡと画像データＢとを合成して画像データＣを作成し（Ｓ１０８）、表示部１１８に表示する（Ｓ１１０）。
【００４１】
以上のようにして、本実施の形態に係る携帯電話は、ステレオ画像の画像データとともに１つのデータに含まれた位置データを用いて、立体画像とカメラによって撮影された画像とを合成し、１つの画像データを作成する。これにより、立体画像のデータ提供者は、任意の位置データを１つのデータに含めることができるので、ステレオ画像の仮想立体空間内における、立体画像とカメラによって撮影された画像との位置の関係を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内における、立体画像とカメラによって撮影された画像との位置を、立体画像のデータ提供者が自由に設定できる携帯電話を提供できる。
【００４２】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る携帯電話について説明する。
【００４３】
本実施の形態に係る携帯電話１０２の操作部は、第１の実施の形態の操作部１２０の機能に加え、ユーザが位置データを入力できる機能を有する。記憶部１１２は、位置データを含まないステレオ画像のステレオ画像データ（以下、画像データＤとする）を記憶する。なお、その他のハードウェア構成については前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【００４４】
図７を参照して、本実施の形態に係る携帯電話１０２で実行されるプログラムは、ステレオ画像の合成に関し、以下のような制御構造を有する。なお、図７に示すフローチャートの中で、前述の図５に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
【００４５】
Ｓ１２０にて、制御部１０４は、記憶部１１２に記憶された画像データＤを呼出す。Ｓ１２２にて、制御部１０４は、ユーザが操作部から位置データを入力するのを待ち、入力された位置データを記憶部１１２に保存する。
【００４６】
Ｓ１２４にて、制御部１０４は、操作部を用いてユーザから入力を受付け、その入力に基づいて位置データを入力し直すか否か判断する。位置データを入力し直すと判断するした場合（Ｓ１２４にてＹＥＳ）、処理はＳ１２２へと移される。もしそうでないと（Ｓ１２４にてＮＯ）、処理を終了する。
【００４７】
以上のような構造およびフローチャートに基づく、携帯電話１０２の動作について説明する。
【００４８】
制御部１０４は、記憶部１１２から画像データＤを呼出す（Ｓ１２０）。画像データＤが呼出されると、制御部１０４は、ユーザが操作部から位置データを入力するのを待ち、入力された位置データを記憶部１１２に保存する（Ｓ１２２）。位置データが保存されると、Ｓ１０４〜Ｓ１０８の処理を経て、画像データＣを表示部１１８に表示する（Ｓ１１０）。
【００４９】
図８を参照して、以上の動作についてより具体的に説明する。本実施の形態に係る携帯電話１０２を使用しているユーザは、カメラ１０８で平面的な人物画像１４２を撮影し、その画像を記憶部１１２に記憶されているステレオ画像１４４に合成させるとき、位置データを操作部に入力する。位置データが入力されると、合成部１１６はステレオ画像１４４内の任意の面に人物画像１４２を合成した合成画像１４８を合成する。入力された位置データの値に応じて、合成部１１６は人物画像１４２の位置を、たとえばステレオ画像１４４内の太陽と同じ面、または手前の山と同じ面、あるいは奥の山と同じ面など、自由自在に変えることができる。
【００５０】
画像データＣが表示されると、制御部１０４は、操作部を用いてユーザから入力を受付け、その入力に基づいて位置データを入力し直すか否か判断する（Ｓ１２４）。ユーザが位置データを入力し直す旨の入力をした場合（Ｓ１２４にてＹＥＳ）、制御部１０４は、ユーザが操作部から位置データを入力するのを待つ（Ｓ１２２）。
【００５１】
以上のようにして、本実施の形態に係る携帯電話は、ユーザが入力した位置データを用いて、ステレオ画像とその他の画像とを合成し、１つの画像データを作成する。これにより、ユーザは、任意の位置データを入力することができるので、ステレオ画像の仮想立体空間内における、ステレオ画像とその他の画像との位置の関係を自由に設定することができる。その結果、ステレオ画像の仮想立体空間内におけるステレオ画像とその他の画像との位置を、ユーザが自由に設定できる携帯電話を提供できる。
【００５２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る携帯電話の制御ブロック図である。
【図２】本発明の第１の実施の形態に係る画像データを受信する場合のデータのフォーマットである。
【図３】立体視の原理を示す図である。
【図４】ユーザがステレオ画像を見る場合、両目がそれぞれ知覚する状況を説明する図である。
【図５】本発明の第１の実施の形態に係る画像の合成処理の制御の手順を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る画像の合成処理を図式的に表わす図である。
【図７】本発明の第２の実施の形態に係る画像の合成処理の制御の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態に係る画像の合成処理を概念的に示す図である。
【符号の説明】
１０２携帯電話、１０４制御部、１０６無線部、１０８カメラ、１１０処理部、１１２記憶部、１１４変換部、１１６合成部、１１８表示部、１２０操作部、１２２入力部、１２４出力部、１２６電源部。

Claims

ステレオ画像および平面画像を合成する装置であって、
前記平面画像を表わす平面画像データを入力するための第１の入力手段と、
前記ステレオ画像を表わすステレオ画像データを含む複合データを入力するための第２の入力手段と、
前記データを記憶するための記憶手段と、
前記記憶されたデータを用いて、前記平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成するための合成手段とを含み、
前記複合データは、前記ステレオ画像データの提供者が生成したデータであって、該ステレオ画像の仮想立体空間内の奥行き方向における前記平面画像の位置関係を特定できる距離データを含んでおり、
前記合成手段は、
前記平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、前記左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、前記距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化手段と、
該ステレオ画像化手段によりステレオ画像化されたデータと前記ステレオ画像データとを合成して、前記距離データにより表わされる前記ステレオ画像の仮想立体空間内における位置に前記平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成手段とを含む、画像の合成装置。
ステレオ画像および平面画像を合成する装置であって、
前記平面画像を表わす平面画像データを入力するための第１の入力手段と、
前記ステレオ画像の仮想立体空間内の奥行き方向における前記平面画像の位置関係を特定できる距離データを入力するための第２の入力手段と、
前記平面画像データを記憶し、かつ前記ステレオ画像を表わすステレオ画像データを予め記憶するための記憶手段と、
前記記憶されたデータを用いて、前記平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成するための合成手段とを含み、
前記合成手段は、
前記平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、前記左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、前記距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化手段と、
該ステレオ画像化手段によりステレオ画像化されたデータと前記ステレオ画像データとを合成して、前記距離データにより表わされる前記ステレオ画像の仮想立体空間内における位置に前記平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成手段とを含む、画像の合成装置。
前記合成画像データ作成手段により作成された画像データに基づいて前記１のステレオ画像を表示する合成画像表示手段をさらに含み、
前記第２の入力手段は、前記合成画像表示手段により前記１のステレオ画像が表示された後、前記距離データの再入力を受付ける再入力受付手段を含み、
前記ステレオ画像化手段は、前記再入力受付手段により前記距離データの再入力が受付けられた場合に、該再入力された前記距離データに基づいて前記ずらす大きさを再度決定し、該再決定された大きさだけずれた視差を有するステレオ画像にする処理を再度実行し、
前記合成画像データ作成手段は、前記ステレオ画像化手段により再度ステレオ画像化されたデータに基づいて前記１のステレオ画像を表わす画像データを再度作成する、請求項２に記載の画像の合成装置。
ステレオ画像および平面画像を合成する方法であって、
前記平面画像を表わす平面画像データを入力する第１の入力ステップと、
前記ステレオ画像を表わすステレオ画像データを含む複合データを入力する第２の入力ステップと、
前記データを記憶する記憶ステップと、
前記記憶されたデータを用いて、前記平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成する合成ステップとを含み、
前記複合データは、前記ステレオ画像データの提供者が生成したデータであって、該ステレオ画像の仮想立体空間内の奥行き方向における前記平面画像の位置関係を特定できる距離データを含んでおり、
前記合成ステップは、
前記平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、前記左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、前記距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化ステップと、
該ステレオ画像化ステップによりステレオ画像化されたデータと前記ステレオ画像データとを合成して、前記距離データにより表わされる前記ステレオ画像の仮想立体空間内における位置に前記平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成ステップとを含む、画像の合成方法。
ステレオ画像および平面画像を合成する方法であって、
前記平面画像を表わす平面画像データを入力する第１の入力ステップと、
前記ステレオ画像の仮想立体空間内の奥行き方向における前記平面画像の位置関係を特定できる距離データを入力する第２の入力ステップと、
前記平面画像データを記憶し、かつ前記ステレオ画像を表わすステレオ画像データを予め記憶する記憶ステップと、
前記記憶されたデータを用いて、前記平面画像データおよびステレオ画像データを合成して１のステレオ画像を表わす画像データを作成する合成ステップとを含み、
前記合成ステップは、
前記平面画像を左目用画像および右目用画像に分解してステレオ画像化するときに、前記左目用画像および右目用画像をずらせて視差を発生させるときのずらす大きさを、前記距離データに基づいて決定し、該決定された大きさだけずれた視差を有するステレオ画像にするステレオ画像化ステップと、
該ステレオ画像化ステップによりステレオ画像化されたデータと前記ステレオ画像データとを合成して、前記距離データにより表わされる前記ステレオ画像の仮想立体空間内における位置に前記平面画像が位置するように見える１のステレオ画像を表わす画像データを作成する合成画像データ作成ステップとを含む、画像の合成方法。
請求項４または５に記載の画像の合成方法をコンピュータに実現させるためのプログラム。