JP2005117193A - 撮像端末、画像表示端末、及び画像表示システム - Google Patents

Abstract

【課題】 撮影側の条件に合わせてリアリティの高い立体画像を表示することが可能な画像表示システムを提供すること。
【解決手段】 この画像表示システム１は、一対の撮影レンズ１０１ａ，１０１ｂを含んで構成される撮像手段１０１と、左側画像データ及び右側画像データを生成する画像処理部１０２と、レンズ配置情報と左側画像データ及び右側画像データと焦点距離情報とを送信する送信部１０８と、を有する撮像端末１０と、レンズ配置情報と左側画像データ及び右側画像データと焦点距離情報とを受信する受信部２０１と、レンズ配置情報及び焦点距離情報に基づいて左側の像と右側の像との間で両眼視差を生ずるように表示位置を算出する表示位置算出部２０３と、算出された表示位置に左側の像及び右側の像を表示する画像表示部２０４と、を有する画像表示端末２０とを備える。
【選択図】 図１

Description

本発明は、撮像端末、画像表示端末、及び画像表示システムに関するものである。

従来から、カメラ等で撮影された画像を立体画像として表示させるための装置が提供されている。このような立体画像表示装置としては、例えば、撮像部で撮影された画像を、表示光軸と撮像光軸が一致するように眼前に装着された表示画面に表示させるというようなものがある（例えば、特許文献１参照。）。
特開平５−３４４５４１号公報

一方、最近では、デジタルカメラやカメラ内蔵型の携帯電話機等の様々な形状のカメラにより撮影された画像をネットワークを介して送受信することが頻繁に行われるようになっている。このような場合に、撮影された画像を立体画像として表示することができれば、観察者に対してよりリアリティの高い情報を与えることが可能となる。

しかしながら、上述した従来技術においては、撮像側端末毎に様々変化する撮影条件に合わせて立体画像を表示することは実現されていない。

そこで、本発明はかかる事情に鑑みて為されたものであり、撮影側の条件に合わせてリアリティの高い立体画像を表示することが可能な撮像端末、画像表示端末、及び画像表示システムを提供することを目的とする。

本発明の撮像端末は、一対の撮影レンズを含んで構成される撮像手段と、一対の撮影レンズにより撮影されたそれぞれの像から、左側画像データ及び右側画像データを生成する画像処理手段と、一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、画像処理手段により生成された左側画像データ及び右側画像データと、撮影レンズの焦点距離に関する焦点距離情報とを送信する送信手段とを備えることを特徴とする。

このような撮像端末では、画像処理手段が、撮像手段に備えられた一対の撮影レンズによって撮影された像から左側画像データ及び右側画像データを生成し、送信手段が、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを送信するので、左右の画像データに撮影時の撮影条件に関する情報を合わせて送信することが可能となる。

また、本発明の画像表示端末は、撮像端末の一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、一対の撮影レンズにより撮影された像を表す左側画像データ及び右側画像データと、撮影レンズの焦点距離に関する焦点距離情報とを受信する受信手段と、受信手段によって受信されたレンズ配置情報及び焦点距離情報に基づいて、左側画像データによって表される左側の像と右側画像データによって表される右側の像との間で両眼視差を生ずるように左側の像及び右側の像の表示位置を算出する表示位置算出手段と、表示位置算出手段によって算出された表示位置に左側の像及び右側の像を表示する画像表示手段とを備えることを特徴とする。

このような画像表示端末では、受信手段が、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを受信し、表示位置算出手段が、レンズ配置情報及び焦点距離情報に基づいて両眼視差を生ずるように像の表示位置を算出し、画像表示手段が、算出された表示位置で左右の像を表示するので、撮像端末で撮影した左右の画像データを、撮影条件に合わせて現実に近い両眼視差を生じるような立体画像として再生することができる。

また、本発明の画像表示システムは、撮像端末によって撮影された像を画像表示端末において立体画像として表示させる画像表示システムであって、撮像端末は、一対の撮影レンズを含んで構成される撮像手段と、一対の撮影レンズにより撮影されたそれぞれの像から、左側画像データ及び右側画像データを生成する画像処理手段と、一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、画像処理手段により生成された左側画像データ及び右側画像データと、撮影レンズの焦点距離に関する焦点距離情報とを送信する送信手段とを備え、画像表示端末は、撮像端末の一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、一対の撮影レンズにより撮影された像を表す左側画像データ及び右側画像データと、撮影レンズの焦点距離に関する焦点距離情報とを受信する受信手段と、受信手段によって受信されたレンズ配置情報及び焦点距離情報に基づいて、左側画像データによって表される左側の像と右側画像データによって表される右側の像との間で両眼視差を生ずるように左側の像及び右側の像の表示位置を算出する表示位置算出手段と、表示位置算出手段によって算出された表示位置に左側の像及び右側の像を表示する画像表示手段とを備えることを特徴とする。

このような画像表示システムでは、撮像端末が、撮像手段に備えられた一対の撮影レンズによって撮影された像から左側画像データ及び右側画像データを生成し、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを送信するので、左右の画像データに撮影時の撮影条件に関する情報を合わせて送信することが可能となる。また、画像表示端末が、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを受信し、レンズ配置情報及び焦点距離情報に基づいて両眼視差を生ずるように像の表示位置を算出し、算出された表示位置で左右の像を表示するので、撮像端末で撮影した左右の画像データを、撮影条件に合わせて現実に近い両眼視差を生じるような立体画像として再生することができる。

また、撮像端末は、一対の撮影レンズの焦点距離を検出する焦点距離検出手段を更に備え、送信手段は、焦点距離検出手段によって検出された焦点距離に関する焦点距離情報と、一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、画像処理手段により生成された左側画像データ及び右側画像データとを送信することが好ましい。

この場合、撮影レンズの焦点距離を検出し、検出した焦点距離に関する焦点距離情報を送信するので、例えば、撮像端末の自動焦点調整機能等により撮像手段の焦点距離が変動する場合であっても、撮影時の焦点距離に関する情報を確実に送信することができる。

本発明の画像表示システムによれば、撮像端末が、撮像手段に備えられた一対の撮影レンズによって撮影された像から左側画像データ及び右側画像データを生成し、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを送信するので、左右の画像データに撮影時の撮影条件に関する情報を合わせて送信することが可能となる。また、画像表示端末が、一対の撮影レンズの相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズの焦点距離情報とを受信し、レンズ配置情報及び焦点距離情報に基づいて両眼視差を生ずるように像の表示位置を算出し、算出された表示位置で左右の像を表示するので、撮像端末で撮影した左右の画像データを、撮影条件に合わせて現実に近い両眼視差を生じるような立体画像として再生することができる。その結果、撮影側の条件に合わせてリアリティの高い立体画像を表示することが可能な画像表示システムを提供することができる。

本発明の実施形態にかかる画像表示システムについて図面を参照して説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。

まず、本実施形態にかかる画像表示システムの構成について説明する。図１は、本発明の好適な一実施形態を示す画像表示システムの概略構成図である。この画像表示システム１は、撮像端末１０と、画像表示端末２０と、移動体通信ネットワーク３０とを備えている。図１においては、撮像端末１０及び画像表示端末２０を１つずつ図示しているが、それぞれ複数備えていても構わない。以下、各構成要素について説明する。

（撮像端末）
撮像端末１０は、物体や人物等を撮影して画像データを生成するための、いわゆるカメラ内蔵型の移動通信端末である。撮像端末１０は、移動体通信ネットワーク３０を介して、画像表示端末２０との間で、音声通話とともに画像データの送受信も可能な移動通信端末である。撮像端末１０の機能的構成要素としては、一対の撮影レンズである左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂとを含む撮像手段１０１と、画像処理部（画像処理手段）１０２と、データ圧縮部１０３と、焦点距離調整部１０４と、焦点距離検出部（焦点距離検出手段）１０５と、レンズ位置検出部１０６と、送信部（送信手段）１０８とを備えて構成されている。

左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂは、物体や人物等の撮影対象物から発せられた光を像として撮像手段１０１内に結ぶための光学レンズである。左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂは、撮像端末１０の表面の所定位置に取り付けられている。また、撮影時においては、左側撮影レンズ１０１ａの右側撮影レンズ１０１ｂに対する相対的位置が、撮影対象物の方向に対して左側となるように取り付けられている。さらに、左側撮影レンズ１０１ａ及び右側撮影レンズの焦点距離は可変であり、それらの焦点距離は焦点距離調整部１０４により調整可能とされている。

このような撮影レンズ１０１ａ，１０１ｂを含む撮像手段１０１には、さらにＣＣＤ等の撮像素子（図示せず）が内蔵されている。撮像手段１０１は、左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂで撮影された像を、それぞれ電気信号に変換して画像処理部１０２に出力する。

画像処理部１０２は、左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂにより撮影されたそれぞれの像を表す左側画像データ及び右側画像データを生成する部分である。具体的には、画像処理部１０２は、撮像手段１０１から出力された左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂで撮影された像を表す電気信号から、デジタルデータである左側画像データ及び右側画像データを生成する。画像処理部１０２は、生成した左側画像データ及び右側画像データをデータ圧縮部１０３に出力する。また、画像処理部１０２は、撮影レンズ１０１ａ，１０１ｂにより撮影されたそれぞれの像を連続的に処理して、動画像データとしての左側画像データ及び右側画像データを生成することも可能とされている。

データ圧縮部１０３は、画像処理部１０２から出力された左側画像データ及び右側画像データを合成するとともにデータ圧縮を行う部分である。データ合成の方法としては、左側画像データと右側画像データを横方向に圧縮して１つの画像データとして合成する方法が挙げられる。また、データ圧縮形式としては、静止画像データの場合はJPEG（Joint Photographic Coding Experts Group）形式等、動画像データの場合はMPEG（Moving Picture Coding Experts Group）形式等が挙げられる。データ圧縮部１０３は、左側画像データと右側画像データとが合成された画像データをデータ圧縮して、合成画像データとして送信部１０８に出力する。

焦点距離調整部１０４は、一対の撮影レンズ１０１ａ，１０１ｂの焦点距離を、撮影対象物に焦点が合うように自動調整する部分である。具体的には、焦点距離調整部１０４は、撮影時に撮像端末１０と撮影対象物との間の距離を測定して、撮影レンズ１０１ａ，１０１ｂの焦点位置を調整する。

焦点距離検出部１０５は、焦点距離調整部１０４により調整された撮影レンズ１０１ａ，１０１ｂの焦点距離を検出する部分である。焦点距離検出部１０５は、検出した焦点距離情報を送信部１０８に出力する。ここで、検出される焦点距離の測定方法は、撮像端末１０の形状毎に異なる（詳細は後述する。）。

レンズ位置検出部１０６は、撮影レンズ１０１ａと撮影レンズ１０１ｂとの相対的位置及び方向を特定するレンズ配置情報を検出する部分である。検出されるレンズ配置情報の内容は、焦点距離の測定方法と同様に、撮像端末１０の形状毎に異なるものである（詳細は後述する。）。

以下、撮像端末１０の形状毎に、焦点距離検出部１０５により検出される焦点距離情報とレンズ位置検出部１０６により検出されるレンズ配置情報について、より具体的に説明する。

まず、図２を用いて、撮像端末１０がいわゆるストレート型の移動通信端末である場合に、検出される焦点距離情報及びレンズ配置情報について説明する。図２は、ストレート型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。図２に示すように、撮像端末１０の板状の本体部１０ａの一方の面１０ｂには、左側撮影レンズ１０１ａと右側撮影レンズ１０１ｂとが、互いの光軸Ｖ，Ｗが平行となるように設けられている。この場合の撮影レンズ１０１ａの中心点と撮影レンズ１０１ｂの中心点との距離はｒである。撮影者は撮影時に、撮影対象物Ａが両方の光軸Ｖ，Ｗを含む面上であって、光軸Ｖ及び光軸Ｗから等距離に位置するように、撮像端末１０の方向を調整するものとする。この場合に検出される焦点距離は、面１０ｂと撮影対象物Ａの距離ｄとなる。このようなストレート型の場合には、焦点距離検出部１０５が焦点距離ｄを焦点距離情報として検出する。さらに、レンズ位置検出部１０６は、レンズ間距離ｒと撮像端末１０の形状を表す端末形状情報「ストレートタイプ」とを、ＲＯＭ等のデータ格納手段から読み出すことによりレンズ配置情報として検出する。

次に、図３及び図４を用いて、撮像端末１０がいわゆる回転型の移動通信端末である場合について説明する。図３は、回転型の撮像端末を光軸方向から見た側面図、図４は、回転型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。図３に示すように、撮像端末１０は、２つの板状の本体部１２ａ，１２ｂを含んでいる。本体部１２ａと本体部１２ｂとは、互いの面を平行にして、端部において上下に重なり合うように、軸１２ｃにより連結されている。このような構成により、本体部１２ａは本体部１２ｂに対して、軸１２ｃを中心に回動可能とされている。また、本体部１２ａ及び本体部１２ｂの図３における上面には、光軸がその面に垂直となるように左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂが設けられている。この場合、軸１２ｃと左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂの中心点との距離はＬとなっている。また、軸１２ｃと左側撮影レンズ１０１ａの中心点を結ぶ直線と、軸１２ｃと右側撮影レンズ１０１ｂの中心点を結ぶ直線との成す角をθとする。レンズ位置検出部１０６は、軸１２ｃと左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂの中心点との距離である軸レンズ間距離Ｌを、ＲＯＭ等のデータ格納手段から読み出すことにより検出する。また同時に、レンズ位置検出部１０６は、軸１２ｃと左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂの中心点を結ぶ２直線の成す角である回転角θを検出する。レンズ位置検出部１０６は、軸レンズ間距離Ｌと回転角θと撮像端末の形状を表す端末形状情報「回転タイプ」とをレンズ配置情報として、送信部１０８に出力する。

このような回転型の撮像端末１０を用いた場合、撮影者は、図４に示すような状態で撮影を行う。つまり、撮影者は、撮影対象物Ａが両方の光軸Ｖ，Ｗを含む面上であって、光軸Ｖ及び光軸Ｗから等距離に位置するように、撮像端末１０の方向を調整するものとする。この場合に検出される焦点距離は、本体部１２ｂの上面１２ｅと撮影対象物Ａとの間の距離ｄとなる。焦点距離検出部１０５は、距離ｄを焦点距離情報として、送信部１０８に出力する。

次に、図５を用いて、撮像端末１０がいわゆる折り畳み型の移動通信端末である場合について説明する。図５は、折り畳み型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。図５に示すように、撮像端末１０は、２つの板状の本体部１４ａ，１４ｂを含んでいる。本体部１４ａと本体部１４ｂとは、軸１４ｃにより蝶番結合されている。このような構成により、本体部１４ａは本体部１４ｂに対して、最大開度１８０度で回動可能とされている。また、本体部１４ａの面１４ｄ及び本体部１４ｂの面１４ｅには、光軸がそれぞれの面に垂直となるように左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂが設けられている。この場合、軸１４ｃと左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂの中心点との距離はｋとなっている。また、本体部１４ａの本体部１４ｂに対する開度をδとする。レンズ位置検出部１０６は、まず、軸１４ｃと左側撮影レンズ１０１ａ及び右側撮影レンズ１０１ｂの中心点との距離である軸レンズ間距離ｋを、ＲＯＭ等のデータ格納手段から読み出すことにより検出する。また同時に、レンズ位置検出部１０６は、本体部１４ａの本体部１４ｂに対する開度δを検出する。レンズ位置検出部１０６は、軸レンズ間距離ｋと開度δと撮像端末の形状を表す端末形状情報「折り畳みタイプ」とをレンズ配置情報として、送信部１０８に出力する。

このような折り畳み型の撮像端末１０を用いた場合、撮影者は、図５に示すような状態で撮影を行う。つまり、撮影者は、撮影対象物Ａが両方の光軸Ｖ，Ｗを含む面上であって、光軸Ｖ及び光軸Ｗから等距離に位置するように、撮像端末１０の方向を調整するものとする。この場合に検出される焦点距離は、軸１４ｃと撮影対象物Ａとの間の距離ｄとなる。焦点距離検出部１０５は、距離ｄを焦点距離情報として、送信部１０８に出力する。

図１に戻って、送信部１０８は、焦点距離検出部１０５により検出された焦点距離に関する焦点距離情報と、レンズ位置検出部１０６により検出された一対の撮影レンズ１０１ａ，１０１ｂ間の相対的位置及び方向を特定するレンズ配置情報と、画像処理部１０２により生成された左側画像データ及び右側画像データとを、画像表示端末２０に対して送信する部分である。この場合、送信部１０８は、データ圧縮部１０３により生成された合成画像データを送信する。また、送信部１０８は、合成画像データとともに、その画像データによって表される像の撮影時に検出された焦点距離情報及びレンズ配置情報を送信する。レンズ配置情報は、上述したように、撮像端末１０の形状に対応したパラメータを含む。なお、左側画像データ及び右側画像データが動画像データとして生成される場合には、送信部１０８は、焦点距離情報及びレンズ配置情報を時系列データに編集する。この時系列データは、焦点距離検出部１０５及びレンズ位置検出部１０６により所定時間間隔で検出された焦点距離情報及びレンズ配置情報を時系列に含むものである。送信部１０８は、これらの時系列データを対応する合成画像データとともに画像表示端末２０に対して送信する。

（画像表示端末）
画像表示端末２０は、撮像端末１０において撮影された像を立体画像として表示させるための移動通信端末である。画像表示端末２０は、移動体通信ネットワーク３０を介して、撮像端末１０との間で、音声通話とともに画像データの送受信も可能な移動通信端末である。画像表示端末２０の機能的構成要素としては、受信部（受信手段）２０１と、データ分離部２０２と、表示位置算出部（表示位置算出手段）２０３と、画像表示部（画像表示手段）２０４と、左ビデオメモリー２０５及び右ビデオメモリー２０６と、立体画像表示用ディスプレイ２０７を備えて構成されている。

受信部２０１は、撮像端末１０から、レンズ配置情報と、合成画像データと、焦点距離情報とを受信する部分である。このレンズ配置情報は、上述したように、撮像端末１０の形状に応じて異なる内容のパラメータを含んでいる。つまり、撮像端末１０の形状がいわゆるストレート型である場合には、レンズ配置情報として、レンズ間距離ｒと撮像端末１０の形状を表す端末形状情報「ストレートタイプ」とが含まれる。また、撮像端末１０の形状がいわゆる回転型である場合には、レンズ配置情報として、軸レンズ間距離Ｌと回転角θと撮像端末の形状を表す端末形状情報「回転タイプ」とが含まれる。さらに、撮像端末１０の形状がいわゆる折り畳み型である場合には、レンズ配置情報として、軸レンズ間距離ｋと開度δと撮像端末の形状を表す端末形状情報「折り畳みタイプ」とが含まれる。受信部２０１は、受信した合成画像データと、レンズ配置情報と、焦点距離情報とを分離する。受信部２０１は、分離した合成画像データをデータ分離部２０２に出力すると同時に、レンズ配置情報及び焦点距離情報を表示位置算出部２０３に出力する。ここで、受信部２０１は、受信された合成画像データが動画像データである場合には、合成画像データをデータ分離部２０２に出力すると同時に、焦点距離情報及びレンズ配置情報を、時系列データとして表示位置算出部２０３に出力する。

データ分離部２０２は、受信部２０１により受信された合成画像データから左側画像データ及び右側画像データに分離する部分である。この場合、データ分離部２０２は、まず、所定のデータ圧縮形式で圧縮された合成画像データを、画像表示端末２０で再生可能なデータ形式に変換後、左側画像データ及び右側画像データに分離する。その後、データ分離部２０２は、左側画像データ及び右側画像データを画像表示部２０４に出力する。

表示位置算出部２０３は、受信部２０１によって受信されたレンズ配置情報及び焦点距離情報に基づいて、左側画像データによって表される左側の像及び右側画像データによって表される右側の像の表示位置を算出する部分である。このとき表示位置算出部２０３は、左側の像と右側の像と間で、観察者が肉眼で撮影対象物Ａを観察した場合と同等の両眼視差が生じるように表示位置を算出する。より詳細には、表示位置算出部２０３は、レンズ配置情報に含まれる端末形状情報により撮像端末１０の形状を判定し、その形状毎に定められた算出方法によって表示位置を算出する。

まず、端末形状情報が「ストレートタイプ」の場合の表示位置の算出方法について説明する。図６は、観察者の目とディスプレイ上に表示される像とを観察者の上方から見た図である。図６における像Ａ１は、観察者の右目２Ｒによってのみ視認可能に立体画像表示用ディスプレイ２０７の表示画面上に表示された撮影対象物Ａの像を示し、像Ａ２は、観察者の左目２Ｌによってのみ視認可能に立体画像表示用ディスプレイ２０７の表示画面上に表示された撮影対象物Ａの像を示している。像Ａ１は右側画像データによって表される右側の像、像Ａ２は左側画像データによって表される左側の像である。また、観察者の平均的な両目間隔をｘとし、観察者の両目２Ｌ，２Ｒと立体画像表示用ディスプレイ２０７との距離は、初期値としてｄ１が設定されているものとする。さらに、この場合に右目２Ｒと像Ａ１の中心点とを結ぶ直線と立体画像表示用ディスプレイ２０７の表示画面との成す角をφとする。さらに、図２において、撮影対象物Ａの中心点と右側撮影レンズ１０１ｂとを結ぶ直線と、光軸Ｖ，Ｗと直交し、かつ撮影対象物Ａの中心点を通る直線との成す角をψ１とする。このような場合に、観察者が肉眼で撮影対象物Ａを観察した場合と同等の両眼視差が生じる条件は、φ＝ψ１となる。つまり、観察者の右目２Ｒから像Ａ１を見る方向が、右側撮影レンズ１０１ｂから撮影対象物Ａを見る方向と同じになれば良い。従って、図６において、右目２Ｒから立体画像表示用ディスプレイ２０７の表示画面に下ろした垂線と像Ａ１の中心点との距離をｒ１とすると、ｒ１は下記式（１）により求められる。

（上記式中、ｒは、撮影レンズのレンズ間距離、ｄは、撮影レンズの焦点距離を表す。）
さらに、像Ａ１の立体画像表示用ディスプレイ２０７の表示画面中央部から水平方向の変位ＸＡ１は、下記式（２）により求められる。

また、立体画像表示用ディスプレイ２０７の表示画面の水平方向の幅をｙとすると、像Ａ１が立体画像表示用ディスプレイ２０７の表示画面上に収まるための条件は、下記式（３）により与えられる。

表示位置算出部２０３は、上記条件を満たさない場合には、観察者の両目２Ｌ，２Ｒと立体画像表示用ディスプレイ２０７との距離ｄ１を変更した後、再度ＸＡ１を算出して、前記式（３）の条件を満たすようにする。そして、表示位置算出部２０３は、像Ａ１がディスプレイの中央からＸＡ１だけ左方向に変位するように、右側画像データによって表される右側の像の表示位置を算出する。同様にして、表示位置算出部２０３は、左側画像データの表示位置を算出する。

次に、端末形状情報が「回転タイプ」の場合の算出方法について説明する。同様に、図６において、右目２Ｒと像Ａ１の中心点とを結ぶ直線と立体画像表示用ディスプレイ２０７の表示画面との成す角をφとする。また、図４において、撮影対象物Ａの中心点と右側撮影レンズ１０１ｂとを結ぶ直線と、光軸Ｖ，Ｗと直交し、かつ撮影対象物Ａの中心点を通る直線との成す角をψ２とする。このような場合に、観察者が肉眼で撮影対象物Ａを観察した場合と同等の両眼視差が生じる条件は、φ＝ψ２となる。従って、図６において、右目２Ｒから立体画像表示用ディスプレイ２０７の表示画面に下ろした垂線と像Ａ１の中心点との距離をｒ１とすると、ｒ１は下記式（４）により求められる。この場合において、図３に示すように、撮像端末１０のレンズ間距離ｒは、軸レンズ間距離Ｌと回転角θから、ｒ＝２Ｌｓｉｎ（θ／２）となる。

（上記式中、Ｌは、撮像端末の軸レンズ間距離、θは、撮像端末の回転角、ｄは、撮影レンズの焦点距離を表す。）
以下ストレート型の場合と同様にして、像Ａ１の変位ＸＡ１を前記式（２）により求め、前記式（３）の条件を満たさない場合には、距離ｄ１を変更した後、変位ＸＡ１を再度算出する。表示位置算出部２０３は、算出された変位ＸＡ１に基づいて右側画像データの表示位置を算出する。さらに、表示位置算出部２０３は、右側画像データの表示位置の算出方法と同様にして、左側画像データの表示位置も算出する。

次に、端末形状情報が「折り畳みタイプ」の場合の算出方法について説明する。同様に、図６において、右目２Ｒと像Ａ１の中心点とを結ぶ直線と立体画像表示用ディスプレイ２０７の表示画面との成す角をφとする。また、図５において、撮影対象物Ａの中心点と右側撮影レンズ１０１ｂとを結ぶ直線と、光軸Ｗと直交し、かつ撮影対象物Ａの中心点を通る直線との成す角をψ３とする。このような場合に、観察者が肉眼で撮影対象物Ａを観察した場合と同様の両眼視差が生じる条件は、φ＝ψ３となる。従って、図６において、右目２Ｒから立体画像表示用ディスプレイ２０７の表示画面に下ろした垂線と像Ａ１の中心点との距離をｒ１とすると、ｒ１は下記式（５）により求められる。

（上記式中、ｋは、撮像端末の軸レンズ間距離、δは、撮像端末の開度、ｄは、撮影レンズの焦点距離を表す。）
次に、像Ａ１の変位ＸＡ１を式（２）により求め、式（３）の条件を満たさない場合には、距離ｄ１を変更した後、変位ＸＡ１を再度算出する。さらに、表示位置算出部２０３は、右側画像データの表示位置を算出した後、同様にして、左側画像データの表示位置も算出する。

図１に戻って、最後に、表示位置算出部２０３は、以上のようにして算出した左側画像データ及び右側画像データの表示位置情報と観察距離情報ｄ１とを画像表示部２０４に出力する。

画像表示部２０４は、立体画像表示用ディスプレイ２０７において表示位置算出部２０３によって算出された表示位置に左側の像及び右側の像を表示するように制御する部分である。具体的には、データ分離部２０２から出力された左側画像データ及び右側画像データで表される像が、表示位置算出部２０３から出力された表示位置情報の示す位置に表示されるように、左側画像データ及び右側画像データの表示座標を変換する。画像表示部２０４は、変換した左側画像データを左ビデオメモリー２０５に出力するとともに、変換した右側画像データを右ビデオメモリー２０６に出力する。この左ビデオメモリー２０５及び右ビデオメモリー２０６は、画像データを一時的に蓄えておくためのバッファである。また、同時に画像表示部２０４は、表示位置算出部２０３から出力された観察距離情報ｄ１を立体画像表示用ディスプレイ２０７に表示するために、その観察距離情報ｄ１を表示する付加画像データを左ビデオメモリー２０５及び右ビデオメモリー２０６に出力することも行う。

立体画像表示用ディスプレイ２０７は、画像表示部２０４により変換された左側画像データ及び右側画像データを立体画像として表示するためのディスプレイである。立体画像表示用ディスプレイの種類としては、バリア式とレンチキュラー式が挙げられる。より詳細には、図６に示すように、立体画像表示用ディスプレイ２０７は、左ビデオメモリー２０５に蓄えられた左側画像データによって表される像を、観察者の左目２Ｌからのみ視認可能なように表示する。同時に立体画像表示用ディスプレイ２０７は、右ビデオメモリー２０６に蓄えられた右側画像データによって表される像を、観察者の右目２Ｒからのみ視認可能なように表示する。

続いて、本実施形態にかかる画像表示システム１の動作について説明する。図７は、撮像端末の動作を示す第１のフローチャート、図８は、撮像端末の動作を示す第２のフローチャート、図９は、画像表示端末の動作を示すフローチャートである。まず、図７及び図８を用いて、撮像端末の動作について説明する。

まず、撮像端末１０においてキー入力等により撮影が開始されると、撮像手段１０１は、撮影レンズ１０１ａ，１０１ｂで撮影された像に対する処理を開始する（ステップＳ０１）。次に、撮像端末１０と画像表示端末２０とが移動体通信ネットワーク３０を介して接続される（ステップＳ０２）。そして、画像処理部１０２は、画像表示端末２０に対して立体画像を表示可能であるか否かを問い合わせる（ステップＳ０３）。その結果、画像表示端末２０が立体画像を表示可能でない場合には（ステップＳ０３；ＮＯ）、図８に移って、画像表示端末２０に対して表示可能な画像データの解像度及びデータ圧縮形式を問い合わせる（ステップＳ１１）。その後、画像表示端末２０からの返信後、画像処理部１０２は、返信された解像度で左側画像データを生成する（ステップＳ１２）。また、同様に、画像処理部１０２は、右側画像データを生成する（ステップＳ１３）。そして、画像処理部１０２は、生成した左側画像データ及び右側画像データのうちのいずれかを平面像を表す平面画像データとして生成し、データ圧縮部１０３に出力する（ステップＳ１４）。データ圧縮部１０３は、平面画像データを画像表示端末２０から返信されたデータ圧縮形式で圧縮する（ステップＳ１５）。その後、処理をステップＳ２５に移行する。

図７に戻って、一方、ステップＳ０３における問い合わせの結果、画像表示端末２０が立体画像を表示可能である場合には（ステップＳ０３；ＹＥＳ）、画像処理部１０２は、撮像端末１０の形状がストレート型か否かを判定する（ステップＳ０４）。この判定は、ＲＯＭ等のデータ格納手段に格納された撮像端末１０の属性に関するパラメータを参照することにより行われる。判定の結果、撮像端末１０の形状がストレート型である場合には（ステップＳ０４；ＹＥＳ）、レンズ位置検出部１０６がレンズ間距離ｒを読み出し（ステップＳ０５）、処理をステップＳ１６に移行する。

一方、撮像端末１０の形状がストレート型でない場合には（ステップＳ０４；ＮＯ）、画像処理部１０２は、撮像端末１０の形状が回転型か否かを判定する（ステップＳ０６）。その結果、撮像端末１０の形状が回転型である場合には（ステップＳ０６；ＹＥＳ）、レンズ位置検出部１０６は、回転角θを検出する（ステップＳ０７）。また同時に、レンズ位置検出部１０６は、軸レンズ間距離Ｌを検出した後（ステップＳ０８）、処理をステップＳ１６に移行する。

一方、撮像端末１０の形状が回転型でない場合には（ステップＳ０６；ＮＯ）、画像処理部１０２は、撮像端末１０の形状を折り畳み型であると判断し、以下の処理を行う。まず、レンズ位置検出部１０６が、開度δを検出する（ステップＳ０９）。次に、レンズ位置検出部１０６は、軸レンズ間距離ｋを検出し（ステップＳ１０）、処理をステップＳ１６に移行する。

図８に移って、送信部１０８は、以上のようにして検出したパラメータと、端末形状情報とを合わせてレンズ配置情報に編集する（ステップＳ１６）。同時に、撮像端末１０が焦点距離調整機能を有しているか否かが判定され（ステップＳ１７）、焦点距離調整機能を有している場合には（ステップＳ１７；ＹＥＳ）、焦点距離検出部１０５が撮像端末１０の形状に応じた焦点距離ｄを検出する（ステップＳ１９）。一方、焦点距離調整機能を有していない場合（ステップＳ１７；ＮＯ）、つまり、撮影レンズ１０１ａ，１０１ｂが固定焦点レンズである場合には、固定値である焦点距離ｄをＲＯＭ等から読み出す（ステップＳ１８）。そして、送信部１０８は、焦点距離ｄを焦点距離情報に編集する（ステップＳ２０）。

次に、撮像端末１０は、画像表示端末２０に対して表示可能な画像データの解像度及びデータ圧縮形式を問い合わせる（ステップＳ２１）。その後、画像表示端末２０からの返信後、画像処理部１０２は、返信された解像度で、左側撮影レンズ１０１ａにより撮影された像から左側画像データを生成する（ステップＳ２２）。また、同様に、画像処理部１０２は、右側撮影レンズ１０１ｂにより撮影された像から右側画像データを生成する（ステップＳ２３）。その後、データ圧縮部１０３は、左側画像データと右側画像データとを合成するとともにデータ圧縮を行う（ステップＳ２４）。

そして、送信部１０８は、画像表示端末が立体画像を表示可能である場合は、合成画像データと焦点距離情報とレンズ配置情報とを画像表示端末２０に対して送信する。これに対して、送信部１０８は、画像表示端末が立体画像を表示可能でない場合は、平面画像データを画像表示端末２０に送信する（ステップＳ２５）。

撮像端末１０においてキー入力等により撮影が終了されると、撮像端末１０と画像表示端末２０の接続が切断されるとともに、撮影レンズ１０１ａ，１０１ｂで撮影された像に関する処理を終了する（ステップＳ２６）。

次に、図９を用いて、画像表示端末の動作について説明する。

最初に、撮像端末１０にて撮影が開始されると、撮像端末１０と画像表示端末２０とが移動体通信ネットワーク３０を介して接続される（ステップＳ３０）。次に、画像表示端末２０により、立体画像を表示可能であるか否かが判定される（ステップＳ３１）。この判定は、ＲＯＭ等のデータ格納手段に格納された画像表示端末２０の属性に関するパラメータを参照することにより行われる。

その結果、画像表示端末２０が立体画像を表示可能でない場合には（ステップＳ３１；ＮＯ）、その旨が撮像端末１０に返信されるとともに、表示可能な画像データの解像度及びデータ圧縮形式が撮像端末１０に送信される（ステップＳ３２）。これに対して、撮像端末から送信された平面画像データが、受信部２０１により受信される（ステップＳ３３）。そして、データ分離部２０２により、その平面画像データが画像表示端末２０において再生可能なデータ形式に変換される（ステップＳ３４）。次に、変換された平面画像データは、画像表示部２０４により、左ビデオメモリー２０５及び右ビデオメモリー２０６に出力される（ステップＳ３５）。そして、平面画像データによって表される平面像が立体画像表示用ディスプレイ２０７に表示される（ステップＳ３６）。

一方、画像表示端末２０が立体画像を表示可能である場合には（ステップＳ３１；ＹＥＳ）、その旨が撮像端末１０に返信されるとともに、表示可能な画像データの解像度及びデータ圧縮形式が撮像端末１０に送信される（ステップＳ３７）。次に、受信部２０１により、撮像端末１０から送信された画像データを含むデータが受信される（ステップＳ３８）。そして、受信部２０１により、受信されたデータから合成画像データとレンズ配置情報と焦点距離情報とが分離される（ステップＳ３９）。その後、データ分離部２０２により、合成画像データから右側画像データと左側画像データとが分離されるとともに、これらの画像データが画像表示端末２０で表示可能なデータ形式に変換される（ステップＳ４０）。次に、表示位置算出部２０３により、予め定められた推奨観察距離情報ｄ１が読み出される（ステップＳ４１）。さらに、表示位置算出部２０３により、レンズ配置情報及び焦点距離情報に基づいて左側の像及び右側の像の表示位置が算出される（ステップＳ４２）。この算出方法はレンズ配置情報に含まれる端末形状情報に応じて選択される。また、観察者の両目と立体画像表示用ディスプレイ２０７との距離の初期値はｄ１として算出される。そして、画像表示部２０４により、算出された表示位置に基づいて左側画像データ及び右側画像データの表示座標が変換される（ステップＳ４３）。変換された左側画像データ及び右側画像データは、それぞれ、左ビデオメモリー２０５及び右ビデオメモリー２０６に出力される（ステップＳ４４）。その結果、左側の像及び右側の像が両眼視差を生ずるように立体画像表示用ディスプレイ２０７に表示される（ステップＳ４５）。

以下、本発明の実施形態にかかる画像表示システム１の作用効果について説明する。上述のように構成された画像表示システム１によれば、撮像端末１０が、撮像手段１０１に備えられた一対の撮影レンズ１０１ａ，１０１ｂによって撮影された像から左側画像データ及び右側画像データを生成し、一対の撮影レンズ１０１ａ，１０１ｂ間の相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズ１０１ａ，１０１ｂの焦点距離情報とを送信するので、左右の画像データに撮影時の撮影条件に関する情報を合わせて送信することが可能となる。また、画像表示端末２０が、一対の撮影レンズ１０１ａ，１０１ｂ間の相対的位置及び方向を特定するための情報と左側画像データ及び右側画像データと撮影レンズ１０１ａ，１０１ｂの焦点距離情報とを受信し、レンズ配置情報及び焦点距離情報に基づいて両眼視差を生ずるように像の表示位置を算出し、算出された表示位置で左右の像を表示するので、撮像端末１０で撮影した左右の画像データを、撮影条件に合わせて現実に近い両眼視差を生じるような立体画像として再生することができる。

なお、本発明は上述した実施形態に限定されるものではなく、例えば、撮影レンズ１０１ａ，１０１ｂは焦点距離が固定されたものであっても良い。また、この場合、画像表示システム１は、焦点距離調整部１０４及び焦点距離検出部１０５を有していなくても良い。
また、送信部１０８は左側画像データ及び右側画像データを含む合成画像データを送信していたが、これは、左側画像データ及び右側画像データを別個の画像データとして送信しても良い。

本発明の好適な一実施形態を示す画像表示システムの概略構成図である。 ストレート型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。 回転型の撮像端末を光軸方向から見た側面図である。 回転型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。 折り畳み型の撮像端末と撮影対象物とを光軸を含む面に対して垂直な方向から見た平面図である。 観察者の目とディスプレイ上に表示される像とを観察者の上方から見た図である。 撮像端末の動作を示す第１のフローチャートである。 撮像端末の動作を示す第２のフローチャートである。 画像表示端末の動作を示すフローチャートである。

符号の説明

１…画像表示システム、１０…撮像端末、２０…画像表示端末、３０…移動体通信ネットワーク、１０１ａ…左側撮影レンズ、１０１ｂ…右側撮影レンズ、１０１…撮像手段、１０２…画像処理部、１０３…データ圧縮部、１０４…焦点距離調整部、１０５…焦点距離検出部、１０６…レンズ位置検出部、１０８…送信部、２０１…受信部、２０２…データ分離部、２０３…表示位置算出部、２０４…画像表示部、２０５…左ビデオメモリー、２０６…右ビデオメモリー、２０７…立体画像表示用ディスプレイ。

Claims (4)

1. 一対の撮影レンズを含んで構成される撮像手段と、
   前記一対の撮影レンズにより撮影されたそれぞれの像から、左側画像データ及び右側画像データを生成する画像処理手段と、
   前記一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、前記画像処理手段により生成された前記左側画像データ及び前記右側画像データと、前記撮影レンズの焦点距離に関する焦点距離情報とを送信する送信手段と、
   を備えることを特徴とする撮像端末。
2. 撮像端末の一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、前記一対の撮影レンズにより撮影された像を表す左側画像データ及び右側画像データと、前記撮影レンズの焦点距離に関する焦点距離情報とを受信する受信手段と、
   前記受信手段によって受信された前記レンズ配置情報及び前記焦点距離情報に基づいて、前記左側画像データによって表される左側の像と前記右側画像データによって表される右側の像との間で両眼視差を生ずるように前記左側の像及び前記右側の像の表示位置を算出する表示位置算出手段と、
   前記表示位置算出手段によって算出された表示位置に前記左側の像及び前記右側の像を表示する画像表示手段と、
   を備えることを特徴とする画像表示端末。
3. 撮像端末によって撮影された像を画像表示端末において立体画像として表示させる画像表示システムであって、
   前記撮像端末は、
   一対の撮影レンズを含んで構成される撮像手段と、
   前記一対の撮影レンズにより撮影されたそれぞれの像から、左側画像データ及び右側画像データを生成する画像処理手段と、
   前記一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、前記画像処理手段により生成された前記左側画像データ及び前記右側画像データと、前記撮影レンズの焦点距離に関する焦点距離情報とを送信する送信手段と、
   を備え、
   前記画像表示端末は、
   撮像端末の一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、前記一対の撮影レンズにより撮影された像を表す左側画像データ及び右側画像データと、前記撮影レンズの焦点距離に関する焦点距離情報とを受信する受信手段と、
   前記受信手段によって受信された前記レンズ配置情報及び前記焦点距離情報に基づいて、前記左側画像データによって表される左側の像と前記右側画像データによって表される右側の像との間で両眼視差を生ずるように前記左側の像及び前記右側の像の表示位置を算出する表示位置算出手段と、
   前記表示位置算出手段によって算出された表示位置に前記左側の像及び前記右側の像を表示する画像表示手段と、
   を備えることを特徴とする画像表示システム。
4. 前記撮像端末は、前記一対の撮影レンズの焦点距離を検出する焦点距離検出手段を更に備え、
   前記送信手段は、前記焦点距離検出手段によって検出された焦点距離に関する焦点距離情報と、前記一対の撮影レンズの相対的位置及び方向を特定するレンズ配置情報と、前記画像処理手段により生成された前記左側画像データ及び右側画像データとを送信する、
   請求項３に記載の画像表示システム。

Images