JP3929346B2

JP3929346B2 - Stereo image display method and stereo image display apparatus

Info

Publication number: JP3929346B2
Application number: JP2002121530A
Authority: JP
Inventors: 一久林; 浩石黒
Original assignee: Hitachi Zosen Corp; Vstone Co Ltd
Current assignee: Hitachi Zosen Corp; Vstone Co Ltd
Priority date: 2002-04-24
Filing date: 2002-04-24
Publication date: 2007-06-13
Anticipated expiration: 2022-04-24
Also published as: JP2003319418A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像表示方法およびステレオ画像表示装置に関するものである。
【０００２】
【従来の技術】
従来、３６０度全周に亘って立体視する方法としては、視点が異なる２台のカメラ装置を回転させて撮影する方法があるが、カメラ装置を、機械的に３６０度回転させる機構が必要となり、装置自体が複雑になるとともにコストが高くなってしまう。
【０００３】
このような欠点を解消するものとして、特開平１１−２２０７５８号公報に開示されたものがある。
このステレオ画像表示方法は、複数の方向においてそれぞれ撮影した撮影画像に基づき３６０度のパノラマ画像を生成し、このパノラマ画像を異なる複数の視点に対して予め計測しておくことにより、観測者が指定した視線方向の立体視を実現するものである。
【０００４】
【発明が解決しようとする課題】
上記の表示方法によると、その視線方向に応じて使用するカメラ装置が選択されてパノラマ画像が得られるが、２台のカメラ装置にて撮影された画像を映し出す際にその視線方向が変化した場合、ステレオ画像を映し出す際の視線間隔が変化するため、正しいステレオ画像が得られないとともに、連続的に視線方向が変化した場合には、見る画像に違和感を覚えるという問題がある。
【０００５】
そこで、本発明は、視線方向が変化した場合でも、ステレオ画像を、違和感なく表示し得るステレオ画像表示方法およびステレオ画像表示装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に係るステレオ画像表示方法は、全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる方法であって、まず全方位を分割し撮影した曲面画像を取り込んだ後、視線方向に応じて左目用および右目用の曲面画像をそれぞれ平面画像に展開し、次にこれら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定し、次にこれら切り出された左目用画像および右目用画像を、画像表示部にてステレオ画像として表示させる方法である。
【０００７】
また、本発明の請求項２に係るステレオ画像表示方法は、全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる方法であって、全方位を分割し撮影した曲面画像を取り込んだ後、視線方向に応じて左目用および右目用の２つの曲面画像を選択し、次にこれら選択された左目用および右目用の曲面画像をそれぞれ平面画像に展開し、次にこれら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定し、次にこれら切り出された左目用画像および右目用画像を、画像表示部にてステレオ画像として表示させる方法である。
【０００８】
また、本発明の請求項３に係るステレオ画像表示方法は、請求項２に記載のステレオ画像表示方法において、画像切出範囲を決定する際に、撮影中心間を結ぶ基準直線に直交する基準方向線と、上記基準直線の中点を通り且つ視線方向を含む指示直線との交差角θに基づく下記式にて示す補正距離δでもって、両平面画像から所定幅で切り出す画像切出範囲をそれぞれ外側に移動させる方法である。
【０００９】
δ＝ｄ（１−ｃｏｓθ）／２（但し、ｄは両平面画像の撮影中心間距離を示す）
さらに、本発明の請求項５に係るステレオ画像表示装置は、全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる装置であって、全方位を分割し撮影した曲面画像を取り込む画像取込部と、この画像取込部にて取り込まれた曲面画像を、視線方向に応じて左目用および右目用の平面画像に展開する画像展開部と、これら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定する画像切出範囲決定部と、この画像切出範囲決定部にて切り出された左目用および右目用画像を、ステレオ画像表示部に出力する画像出力部とから構成したものである。
【００１０】
また、本発明の請求項６に係るステレオ画像表示装置は、全方位を分割して撮影された画像の内、２つの撮影画像を用いて任意の視線方向でのステレオ画像を表示させる装置であって、全方位を分割し撮影した曲面画像を取り込む画像取込部と、この画像取込部にて取り込まれた複数の曲面画像から、視線方向に応じて左目用および右目用の曲面画像を選択する画像選択部と、この画像選択部にて選択された左目用および右目用の曲面画像をそれぞれ平面画像に展開する画像展開部と、これら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定する画像切出範囲決定部と、この画像切出範囲決定部にて切り出された左目用および右目用画像を、ステレオ画像表示部に出力する画像出力部とから構成したものである。
【００１１】
また、本発明の請求項７係るステレオ画像表示装置は、請求項６に記載のステレオ画像表示装置の画像切出範囲決定部において、撮影中心間を結ぶ基準直線に直交する基準方向線と、上記基準直線の中点を通り且つ視線方向を含む指示直線との交差角θに基づく下記式にて示す補正距離δでもって、両平面画像から所定幅で切り出す画像切出範囲をそれぞれ外側に移動させるようにしたものである。
【００１２】
δ＝ｄ（１−ｃｏｓθ）／２（但し、ｄは両平面画像の撮影中心間距離を示す）
さらに、本発明の請求項８に係るステレオ画像表示装置は、請求項７に記載のステレオ画像表示装置において、指示直線が基準直線の中点を通過せずにいずれか一方の撮影中心側にずれている場合、画像切出範囲の補正距離に、そのずれ量に応じたずれ補正量を加えるようにしたものである。
【００１３】
上記の各請求項に係る構成によると、全方位を分割して撮影した画像を取り込むとともに、視線方向に応じた左目用および右目用の平面画像に展開した後、各平面画像を所定幅で切り出す際に、その視線方向に応じて狭くなった表示中心間距離を、本来の視線間隔に、すなわち撮影中心間距離となるように、その画像切出範囲を外側に移動させるようにしたので、全方位画像を、任意の視線方向にてステレオ画像として表示させる際に、違和感なく表示させることができる。
【００１４】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係るステレオ画像表示装置およびステレオ画像表示方法を、図１〜図５に基づき説明する。
【００１５】
このステレオ画像表示装置は、全方位の画像を撮影するとともに、任意の視線方向でのステレオ画像（立体画像）を表示させるものであり、全方位を撮影するために、少なくとも３台、本実施の形態では４台の全方位撮影用カメラ装置が具備されている。
【００１６】
まず、この全方位撮影用カメラ装置の概略構成について説明する。
図１に示すように、この全方位撮影用カメラ装置１は、ＣＣＤなどの撮像素子を有する撮像部２と、この撮像部２の前方の所定位置に配置された二葉双曲面Ｓの一方の双曲面Ｓ₁の反射面を有する反射ミラー部３とが具備されており、また撮像部２は、その結像位置が他方の双曲面Ｓ₂の焦点に配置される。
【００１７】
このカメラ装置１では、矢線ａにて示すように、一方の双曲面Ｓ₁の焦点Ｆ₁（０，０，ｆ）から見た物体Ｗの画像が、他方の双曲面Ｓ₂の焦点Ｆ₂（０，０，−ｆ）に配置された撮像部２にて撮影されることになる。但し、図１においては、二葉双曲面Ｓの中心点Ｏをｘ−ｙ−ｚ座標系の原点（０，０，０）とし、全方位カメラ装置１における中心光軸をｚ軸に一致させている。なお、図１において、紙面と直交する方向をｘ軸としている。
【００１８】
以下、このような全方位カメラ装置１を用いたステレオ画像表示装置について、詳しく説明する。
このステレオ画像表示装置は、図２に示すように、所定の基準点Ｋを中心にして同一半径Ｒ上に配置された４台の全方位カメラ装置（以下、カメラ装置という）１（１Ａ〜１Ｄ）と、これら各カメラ装置１にて撮影された撮影画像を取り込むための画像取込部１１と、全方位画像の見たい方向すなわち基準座標軸（例えば、図２ではｙ軸）に対して所定角度α（視線角度という）を有する視線方向ｂを取得（認識）する視線方向取得部１２と、この視線方向取得部１２からの視線角度αを入力するとともに、この視線角度αに応じて適している左目用と右目用の２台のカメラ装置１すなわち左目用および右目用の撮影画像を選択する画像選択部１３と、この画像選択部１３にてそれぞれ選択された各撮影画像に所定の処理を施してステレオ画像表示用の画像データを生成する左目用および右目用画像生成部１４（１４Ａ，１４Ｂ）と、これら両画像生成部１４にて生成された画像データを入力してステレオ画像を表示するステレオ画像表示部１５とから構成されている。なお、図２において、第２カメラ装置１Ｂおよび第４カメラ装置１Ｄがｘ軸上に、第１カメラ装置１Ａおよび第３カメラ装置１Ｃがｙ軸上に位置されるとともに、紙面に直交する軸がｚ軸とされる。なお、上記ステレオ画像表示部１５としては例えばヘッドマウント・ディスプレイが使用されるとともに、このヘッドマウント・ディスプレイには、例えば見たい視線方向すなわち視線角度αを、眼球の動きを検出することにより、入力し得る視線方向入力手段が具備されており、この視線方向入力手段から上記視線方向取得部１２に視線角度αが入力される。
【００１９】
まず、画像選択部１３における選択処理について説明する。
この画像選択部１３では、視線方向取得部１２から入力された視線角度α（方位角で、ｘ−ｙ平面におけるｙ軸からの時計回りの角度である）に基づき、下記に示す（１）式および（２）式に基づき、どのカメラ装置１からの撮影画像を使用するかが選択される。なお、（１）式は左目用の画像（カメラ装置）を選択する式であり、また（２）式は右目用の画像（カメラ装置）を選択する式である。なお、以下に示す記号の添え字のＬは左目側を表し、Ｒは右目側を表している。
【００２０】
【数１】

例えば、視線角度αを６０度とすると、左目用のＣ_Lの値は１となり、第１カメラ装置１（１Ａ）からの撮影画像が選択され、またこのときの右目用のＣ_Rの値は２となり、第２カメラ装置１（１Ｂ）からの撮影画像が選択される。
【００２１】
次に、上記左目用および右目用画像生成部１４（１４Ａ，１４Ｂ）について説明するが、両画像生成部は同一構成であるため、一方にだけ着目して説明する。すなわち、各画像生成部１４は、カメラ装置１によりドーナツ形状（円筒状）に撮影された全方位の曲面画像を平面画像に展開する画像展開部２１と、この画像展開部２１にて展開された平面画像を入力して、視線方向ｂに応じて切り出す画像切出範囲を決定する画像切出範囲決定部２２と、この画像切出範囲決定部２２にて切り出された画像を、ステレオ画像表示部１５に出力する画像出力部２３とから構成されている。
【００２２】
次に、上記画像展開部２１での展開処理について説明する。
この画像展開部２１では、図３に示すように、カメラ装置１にて撮影されたｘ−ｙ−ｚ座標系上での曲面画像を、下記（３）式の座標変換式を用いて、視線方向ｂに直交するとともにその交点を中心とするｕ−ｖ座標系における平面Ｍ上での平面画像に画像展開が行われる。
【００２３】
【数２】

但し、（３）式中、αは視線方向ｂの平面Ｎへの投影線とｙ軸との交差角であり、またβは焦点Ｆ₁（０，０，ｆ）を通るｚ軸に垂直な平面Ｎに対する視線方向ｂの仰角である。
【００２４】
次に、上記画像切出範囲決定部２３での処理について説明する。
通常、人間が物体を見た際の大きさなどの実感は、視差角の大小に基づき感じるもので、したがって２台のカメラ装置で撮影した画像を用いてステレオ画像を得る際にも、その視差角（視差ともいう）を考慮する必要がある。
【００２５】
すなわち、カメラ装置から撮影物体までの距離を一定値Ｌに固定した場合（視野角が一定である場合）、両カメラ装置同士の間隔（撮影中心間距離であり、以下、視差間隔ともいう）も一定にする必要があり、したがって任意の方向から画像を見た際に、常に、この視差間隔を一定に維持すれば、ステレオ画像を違和感なく連続して認識できることになる。
【００２６】
以下、この視差間隔について説明する。
ここでは、投影に際しての説明を行うが、基本的には、撮影する場合（カメラ装置の位置であるが、正確には、反射ミラー部の位置である）と同一の位置関係を用いて説明するため、撮影の際に使用した記号をそのまま使用する。
【００２７】
すなわち、図４に示すように、視線方向ｂを含む指示直線Ｂが、２台の投影装置Ｔ，Ｔの中心間を結ぶ基準直線Ｄ上の両投影装置Ｔ，Ｔ間の中心である中点Ｃを通り且つ直交する場合に、両投影装置Ｔ，Ｔにより画像を映し出すと、両投影装置Ｔ，Ｔにて映し出される画像の間隔が撮影中心間距離である視差間隔ｄとなり、ステレオ画像を得るには支障はないが、図５に示すように、指示直線Ｂが、基準直線Ｄの中点Ｃを通過するが基準直線Ｄに直交する基準方向線Ｅに対して所定角度（以下、視線ずれ角という）θでもって交差している場合には、その視差間隔がｄからｄ（１−ｃｏｓθ）に狭くなり、視線方向ｂが基準直線Ｄに直交する場合のステレオ画像に対して違和感が生じることになる。すなわち、視線方向ｂを、中点Ｃを通り基準直線Ｄと直交する基準方向線Ｅに対して変化させた場合、映し出されるステレオ画像同士間に連続性がなくなってしまう。
【００２８】
このような不連続性をなくすために、この画像切出範囲決定部２２にて、視線方向ｂに関係なく、常に、視差間隔が一定になるように補正処理を行うものである。
【００２９】
次に、この補正処理について説明する。
図５に示すように、視線方向ｂが基準方向線Ｅに対して所定角度θを有する場合、両投影装置Ｔ，Ｔにおける間隔ｄが、上述したように、ｄ×ｃｏｓθとなり、狭くなってしまう。
【００３０】
そこで、両者の差Δｄ＝ｄ（１−ｃｏｓα）の半分（１／２）づつを、撮影画像から切り出す範囲を、それぞれ外側に移動させる（ずらせる）ように処理を行う。
【００３１】
例えば、左目用の投影装置Ｔ_Lに着目すれば、映し出す範囲、すなわち切り出す範囲が、本来、Ｗであり、両側に分けると−Ｗ／２〜＋Ｗ／２の範囲であるのに対して、ｄ（１−ｃｏｓα）／２分だけそれぞれ外側にずれた｛−Ｗ／２−ｄ（１−ｃｏｓα）／２｝〜＋Ｗ／２−ｄ（１−ｃｏｓα）／２｝の範囲とされる。勿論、右目用の投影装置Ｔ_Rにおいても、同様に、ｄ（１−ｃｏｓα）／２分だけそれぞれ外側にずれた｛−Ｗ／２＋ｄ（１−ｃｏｓα）／２｝〜＋Ｗ／２＋ｄ（１−ｃｏｓα）／２｝の範囲とされる。
【００３２】
また、このときの画像の投影平面までの距離についても、両投影装置Ｔ_L，Ｔ_R間の中点Ｃを通るとともに指示直線Ｂと直交する中間基準直線Ｄ′からの距離が所定距離Ｌとなるように（視野角が一定となるように）、左目側については、ｄ×ｓｉｎα／２分だけ遠くなるように、また右目側については、ｄ×ｓｉｎα／２分だけ近くなるように画像の切り出しが行われる。すなわち、投影平面に対する前後方向での距離の変化分だけ、切り出される画像の大きさが増減される。
【００３３】
上記構成において、常に、４台のカメラ装置１（１Ａ〜１Ｄ）にて、それぞれ全方位を撮影するとともに、これら各カメラ装置１にて撮影された曲面画像が、画像取込部１１に入力されている状態において、ステレオ画像表示部１５であるヘッドマウント・ディスプレイに設けられた視線方向入力手段から視線方向ｂが視線方向取得部１２に入力されると、ここから視線方向ｂすなわち視線角度αが画像選択部１３に入力され、ここで、（１）式および（２）式に基づき、この視線方向ｂにおける画像の撮影に適した２台のカメラ装置１が選択される。
【００３４】
そして、画像選択部１３にて選択された両カメラ装置１，１からの曲面画像が、座標変換式（３）により、所定の平面画像に展開される。
次に、両カメラ装置１，１における基準方向線Ｅに対する視線方向ｂを含む指示直線Ｂの交差角である視線ずれ角θが求められ、画像切出範囲決定部２２にて、上述したように、視線ずれ角θに基づく補正処理により、視差間隔が一定となるように展開画像の切り出し範囲が決定される。
【００３５】
この画像切出範囲決定部２２にて決定された展開画像が、画像出力部２３を経てヘッドマウント・ディスプレイなどのステレオ画像表示部１５に送られて、ステレオ画像が表示される。
【００３６】
このように、４台の全方位カメラ装置にて撮影された４つの曲面画像を入力するとともに、所定の視線方向に応じた最適な２台のカメラ装置からの曲面画像を選択し、これら選択された左目用および右目用の曲面画像を投影用の平面画像に展開し、次にこれら各平面画像を視野角に応じた所定幅で切り出す際に、その視線方向に応じて狭くなった表示中心間距離を、本来の視線間隔に、すなわち撮影中心間距離となるように、その画像切出範囲を外側に移動させるようにしたので、全方位画像を、任意の視線方向にてステレオ画像として表示させる際に、違和感なく表示させることができる。
【００３７】
次に、本発明の第２の実施の形態に係るステレオ画像表示装置およびステレオ画像表示方法を、図６に基づき説明する。
上記第１の実施の形態においては、視線方向を含む指示直線の基準始点を、２台のカメラ装置間を結ぶ基準直線の中点としたが、本第２の実施の形態では、４台のカメラ装置を配置した中心点を始点としたものである。
【００３８】
なお、本第２の実施の形態では、第１の実施の形態における視線ずれ角度の補正方法だけが異なるため、この部分に着目して説明する。
すなわち、図６に示すように、視線方向ｂを含む指示直線Ｂの一端部を、４台のカメラ装置１が円周上に配置されたその中心である基準点Ｋに位置させたものである。
【００３９】
この場合、両カメラ装置１，１間を結ぶ基準直線Ｄの中点Ｃを通過する基準方向線Ｅと指示直線Ｂとの交差角すなわち視線ずれ角をθとすると、第１の実施の形態にて説明した場合の基準方向線の始点である中点Ｃと、この場合における指示直線Ｂと基準直線Ｄとが交わる交点Ｇとの距離ｈが、下記（４）式にて表される。
【００４０】
【数３】

但し、ｄは、撮影中心間距離である両カメラ装置１，１間の距離である。
【００４１】
すなわち、本第２の実施の形態では、第１の実施の形態にて求められた補正距離δに、上記（４）式にて表される距離すなわちずれ補正量ｈを視線ずれ分として、左目用および右目用画像の切出範囲に加算させて、それぞれ移動させるようにしたものである。
【００４２】
例えば、図６において、第１カメラ装置１Ａを左目用、第２カメラ装置１Ｂを右目用とすると、視線方向が右側にずれているため、各画像の切出範囲は、ずれ補正量ｈだけ右側にそれぞれ移動される。
【００４３】
このような補正を行うことにより、その視線方向が４台のカメラ装置の中心を通過する場合でも、全方位画像を、任意の視線方向にてステレオ画像として表示させる際に、違和感なく表示させることができる。
【００４４】
また、上記説明においては、視線ずれ分を補正するようにしたが、例えば第１カメラ装置１Ａと交点Ｇまでの距離に対する両カメラ装置１Ａ，１Ｂ間の視線距離ｄの比率ｒを求め、この比率［ｒ（左目用）と（１−ｒ）（右目用）］を用いて補正するようにしてもよい。例えば、左目用画像を移動させる場合には、［ｄ・ｒ（１−ｃｏｓθ）／２］分だけ外側に移動させ、また右目用画像を移動させる場合には、［ｄ・（１−ｒ）・（１−ｃｏｓθ）／２］分だけ外側に移動させればよい。
【００４５】
ところで、上記各実施の形態においては、ステレオ画像表示部として、ヘッドマウント・ディスプレイについて説明したが、勿論、ステレオ画像を表示し得るスクリーンなどであってもよい。
【００４６】
また、上記各実施の形態においては、視線方向入力手段として、眼球の動きで視線方向を認識し得るものを説明したが、例えばキーボード、マウスなどから入力することもでき、またプログラム化されたデータを用いて入力することもできる。
【００４７】
また、上記各実施の形態においては、全方位カメラ装置として、双曲面の反射ミラー部を有するものを説明したが、双曲面に限らず、例えば放物面、球面の反射ミラー部であってもよい。
【００４８】
また、上記各実施の形態においては、全方位カメラ装置にて撮影した画像を入力するようにしたが、予め、撮影された画像をハードディスクなどの記録手段に記録しておき、この記録された画像を直接画像取込部に入力することもできる。
【００４９】
また、上記各実施の形態においては、４台のカメラ装置を、同一半径上にすなわち円周上に等間隔おきに配置したが、例えば楕円形状に所定間隔おきに配置してもよい。
【００５０】
さらに、上記実施の形態においては、４台のカメラ装置を使用したが、３台であってもよく、また５台以上であってもよく、さらに２台のカメラ装置を用いてもよい。
【００５１】
【発明の効果】
以上のように本発明のステレオ画像表示方法およびステレオ画像表示装置の構成によると、全方位を分割して撮影した画像を取り込むとともに、視線方向に応じた左目用および右目用の平面画像に展開した後、各平面画像を所定幅で切り出す際に、その視線方向に応じて狭くなった表示中心間距離を、本来の視線間隔に、すなわち撮影中心間距離となるように、その画像切出範囲を外側に移動させるようにしたので、全方位画像を、任意の視線方向にてステレオ画像として表示させる際に、違和感なく表示させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るステレオ画像表示装置におけるカメラ装置の要部断面図である。
【図２】同ステレオ画像表示装置の概略全体構成を示すブロック図である。
【図３】同ステレオ画像表示装置における画像展開を説明する斜視図である。
【図４】同ステレオ画像表示装置における画像切出範囲を説明する図である。
【図５】同ステレオ画像表示装置における画像切出範囲を説明する図である。
【図６】本発明の第２の実施の形態に係るステレオ画像表示装置におけるカメラ装置の配置状態および画像切出範囲を説明する図である。
【符号の説明】
ｂ視線方向
Ｂ指示直線
Ｃ中点
Ｄ基準直線
Ｅ基準方向線
１全方位カメラ装置
２撮像部
３反射ミラー部
１１画像取込部
１２視線方向取得部
１３画像選択部
１４画像生成処理部
１５ステレオ画像表示部
２１画像展開部
２２画像切出範囲決定部
２３画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereo image display method and a stereo image display apparatus.
[0002]
[Prior art]
Conventionally, as a method of performing stereoscopic viewing over the entire 360 ° circumference, there is a method in which two camera devices with different viewpoints are rotated and photographed. However, a mechanism for mechanically rotating the camera device 360 ° is required. The device itself becomes complicated and the cost becomes high.
[0003]
As a solution to such a drawback, there is one disclosed in Japanese Patent Application Laid-Open No. 11-220758.
In this stereo image display method, a 360-degree panoramic image is generated based on captured images taken in a plurality of directions, and the panoramic image is measured in advance with respect to a plurality of different viewpoints. The stereoscopic viewing in the viewing direction is realized.
[0004]
[Problems to be solved by the invention]
According to the above display method, a camera device to be used is selected according to the line-of-sight direction, and a panoramic image is obtained. However, when the line-of-sight direction changes when images taken by two camera devices are displayed. Since the line-of-sight interval when a stereo image is projected changes, a correct stereo image cannot be obtained, and when the line-of-sight direction changes continuously, there is a problem that the image to be seen feels uncomfortable.
[0005]
Therefore, an object of the present invention is to provide a stereo image display method and a stereo image display apparatus that can display a stereo image without a sense of incongruity even when the line-of-sight direction changes.
[0006]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, a stereo image display method according to claim 1 of the present invention is a method for displaying a stereo image in an arbitrary line-of-sight direction using two images among images taken by dividing all directions. First, after capturing a curved image captured by dividing all directions, the curved images for the left eye and the right eye are developed into planar images according to the direction of the line of sight, and then the two planar images are displayed. When displaying, the image cutout range for display in each plane image is determined so that the parallax interval, which is the distance between the display centers, is equal to the distance between the shooting centers of both plane images regardless of the line-of-sight direction. Then, the left-eye image and the right-eye image thus cut out are displayed as a stereo image on the image display unit.
[0007]
A stereo image display method according to claim 2 of the present invention is a method for displaying a stereo image in an arbitrary line of sight using two images out of images taken by dividing all directions. After capturing the curved image captured by dividing all directions, select two curved images for the left eye and right eye according to the direction of the line of sight, and then select the selected curved images for the left eye and right eye respectively. When the flat images are developed and then these two flat images are displayed, the parallax interval, which is the distance between the display centers, is equal to the distance between the photographing centers of the two flat images regardless of the line-of-sight direction. This is a method of determining an image cut-out range for display in a planar image and then displaying the cut-out left-eye image and right-eye image as a stereo image on the image display unit.
[0008]
A stereo image display method according to claim 3 of the present invention is the stereo image display method according to claim 2, wherein the reference direction orthogonal to the reference straight line connecting the photographing centers is determined when determining the image cutout range. An image cutout range to be cut out at a predetermined width from both plane images with a correction distance δ shown by the following formula based on the intersection angle θ between the line and the indication straight line passing through the midpoint of the reference straight line and including the line-of-sight direction. It is a method of moving outside.
[0009]
δ = d (1−cos θ) / 2 (where d represents the distance between the photographing centers of both planar images)
Furthermore, a stereo image display device according to claim 5 of the present invention is a device for displaying a stereo image in an arbitrary line-of-sight direction using two images among images taken by dividing all directions. An image capture unit that captures a curved image captured by dividing the omnidirectional image, and an image expansion that expands the curved image captured by the image capture unit into a planar image for the left eye and the right eye according to the direction of the line of sight When displaying these two-plane images, the parallax interval that is the distance between the display centers is equal to the distance between the shooting centers of the two-plane images regardless of the line-of-sight direction. An image cut-out range determining unit that determines the image cut-out range of each image, and an image output unit that outputs the left-eye and right-eye images cut out by the image cut-out range determining unit to a stereo image display unit What A.
[0010]
A stereo image display device according to claim 6 of the present invention is a device for displaying a stereo image in an arbitrary line of sight using two captured images among images captured by dividing all directions. Then, select the curved image for the left eye and the right eye according to the line-of-sight direction from the image capture unit that captures the curved image captured by dividing all directions and the multiple curved images captured by this image capture unit An image selection unit for developing the left-eye and right-eye curved surface images selected by the image selection unit into flat images, and a distance between the display centers when the two flat images are displayed. An image cut-out range determining unit that determines an image cut-out range for display in each planar image so that a certain parallax interval is equal to the distance between the imaging centers of both planar images regardless of the line-of-sight direction; Image cut out The left eye and right eye images extracted at circumference determining unit, which is constituted from an image output unit that outputs to the stereo image display unit.
[0011]
A stereo image display device according to a seventh aspect of the present invention is the stereo image display device according to the sixth aspect, wherein a reference direction line orthogonal to a reference straight line connecting between the photographing centers and The image cutout range cut out from the two plane images with a predetermined width is moved outward by a correction distance δ shown by the following equation based on the intersection angle θ with the reference line including the line-of-sight direction and passing through the midpoint of the reference line. It is what I did.
[0012]
δ = d (1−cos θ) / 2 (where d represents the distance between the photographing centers of both planar images)
Furthermore, the stereo image display device according to claim 8 of the present invention is the stereo image display device according to claim 7, wherein the pointing straight line is shifted to one of the photographing centers without passing through the midpoint of the reference straight line. In this case, a shift correction amount corresponding to the shift amount is added to the correction distance of the image cutout range.
[0013]
According to the configuration according to each of the above claims, an image captured by dividing all directions is captured, and after being developed into a left-eye and right-eye planar image corresponding to the line-of-sight direction, each planar image is cut out with a predetermined width. At that time, the image cutout range is moved outward so that the distance between the display centers narrowed according to the line-of-sight direction becomes the original line-of-sight distance, that is, the distance between the photographing centers. When the azimuth image is displayed as a stereo image in an arbitrary line-of-sight direction, it can be displayed without a sense of incongruity.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a stereo image display device and a stereo image display method according to a first embodiment of the present invention will be described with reference to FIGS.
[0015]
This stereo image display device captures an omnidirectional image and displays a stereo image (stereoscopic image) in an arbitrary line-of-sight direction. In the embodiment, four omnidirectional camera devices are provided.
[0016]
First, a schematic configuration of this omnidirectional camera device will be described.
As shown in FIG. 1, this omnidirectional camera device 1 includes an imaging unit 2 having an imaging element such as a CCD and one biplane hyperboloid S disposed at a predetermined position in front of the imaging unit 2. The reflecting mirror unit 3 having the reflecting surface of the curved surface S ₁ is provided, and the imaging unit 2 is disposed at the focal point of the other hyperboloid S ₂ .
[0017]
In this camera apparatus 1, as indicated by an arrow a, the image of the object W viewed from the focal point F ₁ (0, 0, f) of _one hyperboloid S _{1 is} the focal point F of the other hyperboloid S ₂ . _{2 The} image is taken by the imaging unit 2 arranged at (0, 0, −f). However, in FIG. 1, the center point O of the biplane hyperboloid S is the origin (0, 0, 0) of the xyz coordinate system, and the central optical axis in the omnidirectional camera apparatus 1 is made to coincide with the z axis. Yes. In FIG. 1, the direction orthogonal to the paper surface is taken as the x-axis.
[0018]
Hereinafter, a stereo image display device using such an omnidirectional camera device 1 will be described in detail.
As shown in FIG. 2, the stereo image display device includes four omnidirectional camera devices (hereinafter referred to as camera devices) 1 (1A to 1D) arranged on the same radius R around a predetermined reference point K. ), An image capturing unit 11 for capturing a captured image captured by each of these camera devices 1, and a predetermined angle with respect to a direction in which an omnidirectional image is desired to be viewed, that is, a reference coordinate axis (for example, the y axis in FIG. 2). A line-of-sight direction acquisition unit 12 that acquires (recognizes) a line-of-sight direction b having α (referred to as a line-of-sight angle), and a line-of-sight angle α from the line-of-sight direction acquisition unit 12 are input and are suitable according to the line-of-sight angle α. The left-eye and right-eye camera devices 1, that is, the image selection unit 13 that selects the left-eye and right-eye captured images, and each captured image selected by the image selection unit 13 is subjected to predetermined processing. Stereo image Left-eye and right-eye image generation unit 14 (14A, 14B) that generates display image data, and a stereo image display unit that inputs the image data generated by both image generation units 14 and displays a stereo image 15. In FIG. 2, the second camera device 1B and the fourth camera device 1D are positioned on the x-axis, the first camera device 1A and the third camera device 1C are positioned on the y-axis, and an axis orthogonal to the paper surface. The z axis is used. For example, a head-mounted display is used as the stereo image display unit 15, and for example, a gaze direction to be viewed, that is, a gaze angle α is input to the head-mounted display by detecting the movement of the eyeball. The line-of-sight direction input means is provided, and the line-of-sight angle α is input to the line-of-sight direction acquisition unit 12 from the line-of-sight direction input means.
[0019]
First, the selection process in the image selection unit 13 will be described.
In this image selection unit 13, based on the line-of-sight angle α (azimuth angle, which is a clockwise angle from the y-axis in the xy plane) input from the line-of-sight direction acquisition unit 12, the following equation (1) Based on the equations (2) and (2), which camera device 1 uses the captured image is selected. The expression (1) is an expression for selecting an image for the left eye (camera apparatus), and the expression (2) is an expression for selecting an image for the right eye (camera apparatus). In addition, the subscript L of the symbol shown below represents the left eye side, and R represents the right eye side.
[0020]
[Expression 1]

For example, if 60 degrees viewing angle alpha, the value of C _L becomes 1 for the left eye, the captured image from the first camera device 1 (1A) is selected, and the value of C _R for the right eye in this case 2 and the captured image from the second camera device 1 (1B) is selected.
[0021]
Next, the left-eye and right-eye image generation units 14 (14A, 14B) will be described. Since both image generation units have the same configuration, only one will be described. That is, each image generation unit 14 develops an omnidirectional curved surface image photographed in a donut shape (cylindrical shape) by the camera device 1 into a planar image, and the image development unit 21 develops the image development unit 14. An image cut-out range determining unit 22 that inputs a planar image and determines an image cut-out range to be cut out in accordance with the line-of-sight direction b, and an image cut out by the image cut-out range determining unit 22 are displayed as a stereo image display unit. 15 and an image output unit 23 that outputs to 15.
[0022]
Next, the expansion process in the image expansion unit 21 will be described.
As shown in FIG. 3, the image development unit 21 uses a coordinate transformation equation (3) below to convert a curved surface image on the xyz coordinate system photographed by the camera device 1 to the line of sight. Image development is performed on a planar image on the plane M in the uv coordinate system that is orthogonal to the direction b and centered at the intersection.
[0023]
[Expression 2]

However, in the expression (3), α is an intersection angle between the projection line onto the plane N in the line-of-sight direction b and the y axis, and β is perpendicular to the z axis passing through the focal point F ₁ (0, 0, f). This is the elevation angle of the line-of-sight direction b with respect to the plane N.
[0024]
Next, processing in the image cutout range determination unit 23 will be described.
Usually, when a human sees an object, the actual feeling such as the size is felt based on the magnitude of the parallax angle. Therefore, when obtaining a stereo image using images taken by two camera devices, the parallax is also obtained. It is necessary to consider the angle (also called parallax).
[0025]
That is, when the distance from the camera device to the photographing object is fixed to a constant value L (when the viewing angle is constant), the distance between the two camera devices (the distance between the photographing centers, hereinafter also referred to as the parallax interval) is also used. Therefore, if the parallax interval is always kept constant when the image is viewed from an arbitrary direction, stereo images can be continuously recognized without a sense of incongruity.
[0026]
Hereinafter, this parallax interval will be described.
Here, explanation is given for projection, but basically, explanation is made using the same positional relationship as in the case of shooting (the position of the camera device, but precisely the position of the reflecting mirror). Therefore, the symbols used for shooting are used as they are.
[0027]
That is, as shown in FIG. 4, the pointing straight line B including the line-of-sight direction b is a midpoint that is the center between the two projection devices T and T on the reference straight line D that connects the centers of the two projection devices T and T. When the images are projected by both the projection devices T and T when passing through C and orthogonal to each other, the interval between the images projected by both the projection devices T and T becomes a parallax interval d which is the distance between the photographing centers, and a stereo image is obtained. However, as shown in FIG. 5, the indication straight line B passes through the midpoint C of the reference straight line D but is perpendicular to the reference direction line E perpendicular to the reference straight line D (hereinafter referred to as line-of-sight deviation). When they intersect with each other with θ, the parallax interval is narrowed from d to d (1-cos θ), and the stereo image when the line-of-sight direction b is orthogonal to the reference straight line D is uncomfortable. It will be. That is, when the line-of-sight direction b is changed with respect to the reference direction line E passing through the midpoint C and orthogonal to the reference straight line D, there is no continuity between the projected stereo images.
[0028]
In order to eliminate such discontinuity, the image cut-out range determination unit 22 performs correction processing so that the parallax interval is always constant regardless of the line-of-sight direction b.
[0029]
Next, this correction process will be described.
As shown in FIG. 5, when the line-of-sight direction b has a predetermined angle θ with respect to the reference direction line E, the distance d between the projection apparatuses T and T becomes d × cos θ as described above and becomes narrow. .
[0030]
Therefore, processing is performed so that the range of the half (1/2) of the difference Δd = d (1−cos α) is moved (shifted) outward from the captured image.
[0031]
For example, if attention is paid to the left-eye projection device T _L , the projected range, that is, the cut-out range is originally W, and when divided on both sides, the range is −W / 2 to + W / 2, whereas d A range of {-W / 2-d (1-cosα) / 2} to + W / 2-d (1-cosα) / 2} each shifted outward by (1-cosα) / 2. Of course, also in the projection device T _R for the right eye, Similarly, d (1-cosα) / only 2 minutes, respectively displaced outwardly {-W / 2 + d (1 -cosα) / 2} ~ + W / 2 + d (1- cos α) / 2}.
[0032]
Further, the distance to the projection plane of the image at this time is a predetermined distance L from the intermediate reference line D ′ that passes through the midpoint C between the projection apparatuses T _L and T _R and is orthogonal to the instruction line B. (So that the viewing angle is constant), the left eye side is separated by d × sin α / 2 minutes, and the right eye side is closer by d × sin α / 2 minutes. Cutting out is performed. That is, the size of the image to be cut out is increased or decreased by the change in the distance in the front-rear direction with respect to the projection plane.
[0033]
In the above configuration, the four camera devices 1 (1 </ b> A to 1 </ b> D) always shoot omnidirectional images, and curved images captured by these camera devices 1 are input to the image capturing unit 11. When the line-of-sight direction b is input to the line-of-sight direction acquisition unit 12 from the line-of-sight direction input means provided in the head-mounted display that is the stereo image display unit 15, the line-of-sight direction b, that is, the line-of-sight angle α is calculated from here. Input to the image selection unit 13, where two camera devices 1 suitable for photographing an image in the line-of-sight direction b are selected based on the equations (1) and (2).
[0034]
Then, the curved surface images from both

camera devices

1 and 1 selected by the image selection unit 13 are developed into a predetermined plane image by the coordinate conversion equation (3).
Next, the line-of-sight shift angle θ, which is the intersection angle of the pointing line B including the line-of-sight direction b with respect to the reference direction line E in both

camera apparatuses

1 and 1, is obtained. The cutout range of the developed image is determined so that the parallax interval is constant by the correction process based on the line-of-sight deviation angle θ.
[0035]
The developed image determined by the image cutout range determination unit 22 is sent to the stereo image display unit 15 such as a head-mounted display through the image output unit 23, and a stereo image is displayed.
[0036]
In this way, four curved images taken by the four omnidirectional camera devices are input, and the optimum curved image from the two camera devices corresponding to a predetermined line-of-sight direction is selected, and these are selected. When the curved images for the left eye and right eye are developed into a planar image for projection, and then each plane image is cut out with a predetermined width according to the viewing angle, the display center between the display centers becomes narrower according to the viewing direction. Since the image cutout range is moved outward so that the distance becomes the original line-of-sight interval, that is, the distance between the photographing centers, the omnidirectional image is displayed as a stereo image in an arbitrary line-of-sight direction. In this case, it can be displayed without a sense of incongruity.
[0037]
Next, a stereo image display device and a stereo image display method according to the second embodiment of the present invention will be described with reference to FIG.
In the first embodiment, the reference start point of the pointing straight line including the line-of-sight direction is the midpoint of the reference line connecting the two camera devices. In the second embodiment, four reference straight lines are connected. The center point where the camera device is placed is the starting point.
[0038]
In the second embodiment, since only the method of correcting the line-of-sight shift angle in the first embodiment is different, the description will be given focusing on this portion.
That is, as shown in FIG. 6, one end portion of the pointing straight line B including the line-of-sight direction b is positioned at the reference point K that is the center of the four camera devices 1 arranged on the circumference. .
[0039]
In this case, when the crossing angle between the reference direction line E passing through the midpoint C of the reference line D connecting the two

camera devices

1 and 1 and the pointing line B, that is, the line-of-sight deviation angle, is θ, the first embodiment will be described. The distance h between the middle point C, which is the starting point of the reference direction line in the case described above, and the intersection point G where the instruction line B and the reference line D intersect in this case is expressed by the following equation (4).
[0040]
[Equation 3]

Here, d is the distance between the two

camera devices

1 and 1, which is the distance between the photographing centers.
[0041]
In other words, in the second embodiment, the distance represented by the above equation (4), that is, the shift correction amount h is used as the line-of-sight shift amount to the correction distance δ obtained in the first embodiment. This is added to the cut-out range of the image for the right eye and the image for the right eye, and is moved respectively.
[0042]
For example, in FIG. 6, when the first camera device 1A is used for the left eye and the second camera device 1B is used for the right eye, the line-of-sight direction is shifted to the right side. Respectively.
[0043]
By performing such correction, even when the line-of-sight direction passes through the centers of the four camera devices, an omnidirectional image can be displayed without a sense of incongruity when displayed as a stereo image in any line-of-sight direction. Can do.
[0044]
In the above description, the line-of-sight shift is corrected. For example, the ratio r of the line-of-sight distance d between the two

camera apparatuses

1A and 1B with respect to the distance from the first camera apparatus 1A to the intersection G is obtained. The correction may be performed using [r (for left eye) and (1-r) (for right eye)]. For example, when the left-eye image is moved, it is moved outward by [d · r (1-cos θ) / 2], and when the right-eye image is moved, [d · (1-r) -It only needs to be moved outward by (1-cos θ) / 2].
[0045]
In each of the above embodiments, the head-mounted display has been described as the stereo image display unit. However, a screen that can display a stereo image may be used as a matter of course.
[0046]
In each of the above-described embodiments, description has been given of the gaze direction input means capable of recognizing the gaze direction by the movement of the eyeball. However, for example, the gaze direction input means can be input from a keyboard, a mouse, etc. You can also input using
[0047]
In each of the above-described embodiments, the omnidirectional camera apparatus has been described as having a hyperboloidal reflection mirror unit. However, the omnidirectional camera apparatus is not limited to a hyperboloidal surface, and may be a parabolic surface or a spherical reflection mirror unit. Good.
[0048]
In each of the above embodiments, an image captured by the omnidirectional camera apparatus is input. However, the captured image is recorded in advance in a recording unit such as a hard disk, and the recorded image is recorded. Can also be input directly to the image capture unit.
[0049]
In the above embodiments, the four camera devices are arranged on the same radius, that is, on the circumference at equal intervals, but may be arranged, for example, in an elliptical shape at predetermined intervals.
[0050]
Furthermore, in the above-described embodiment, four camera devices are used. However, three camera devices may be used, five or more devices may be used, and two camera devices may be used.
[0051]
【The invention's effect】
As described above, according to the configuration of the stereo image display method and the stereo image display device of the present invention, the images captured by dividing all the directions are captured and developed into the left-eye and right-eye planar images according to the line-of-sight direction. After that, when each planar image is cut out with a predetermined width, the image cut-out range is set so that the distance between the display centers narrowed according to the line-of-sight direction becomes the original line-of-sight distance, that is, the distance between the photographing centers. Since the omnidirectional image is moved outward, the omnidirectional image can be displayed without a sense of incongruity when displayed as a stereo image in an arbitrary line-of-sight direction.
[Brief description of the drawings]
FIG. 1 is a cross-sectional view of a main part of a camera device in a stereo image display device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a schematic overall configuration of the stereo image display device.
FIG. 3 is a perspective view illustrating image development in the stereo image display device.
FIG. 4 is a diagram illustrating an image cutout range in the stereo image display device.
FIG. 5 is a diagram illustrating an image cutout range in the stereo image display device.
FIG. 6 is a diagram for explaining an arrangement state and image cutout range of a camera device in a stereo image display device according to a second embodiment of the present invention.
[Explanation of symbols]
b Line-of-sight direction B Direct line C Middle point D Reference line E Reference direction line 1 Omnidirectional camera device 2 Imaging unit 3 Reflecting mirror unit 11 Image capturing unit 12 Line-of-sight acquisition unit 13 Image selection unit 14 Image generation processing unit 15 Stereo image Display unit 21 Image development unit 22 Image extraction range determination unit 23 Image output unit

Claims

全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる方法であって、
まず全方位を分割し撮影した曲面画像を取り込んだ後、視線方向に応じて左目用および右目用の曲面画像をそれぞれ平面画像に展開し、
次にこれら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定し、
次にこれら切り出された左目用画像および右目用画像を、画像表示部にてステレオ画像として表示させることを特徴とするステレオ画像表示方法。A method of displaying a stereo image in an arbitrary line of sight using two images among images taken by dividing all directions,
First, after capturing a curved image captured by dividing all directions, the curved images for the left eye and the right eye are developed into flat images according to the direction of the line of sight,
Next, when displaying these two-plane images, the parallax interval that is the distance between the display centers is equal to the distance between the photographing centers of the two-plane images regardless of the line-of-sight direction. Determine the image cropping range,
Next, a stereo image display method characterized in that the cut-out left-eye image and right-eye image are displayed as a stereo image on the image display unit.

全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる方法であって、
全方位を分割し撮影した曲面画像を取り込んだ後、視線方向に応じて左目用および右目用の２つの曲面画像を選択し、
次にこれら選択された左目用および右目用の曲面画像をそれぞれ平面画像に展開し、
次にこれら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定し、
次にこれら切り出された左目用画像および右目用画像を、画像表示部にてステレオ画像として表示させることを特徴とするステレオ画像表示方法。A method of displaying a stereo image in an arbitrary line of sight using two images among images taken by dividing all directions,
After capturing curved images taken by dividing all directions, select two curved images for the left eye and right eye according to the line-of-sight direction,
Next, the selected curved images for the left eye and the right eye are expanded into flat images, respectively.
Next, when displaying these two-plane images, the parallax interval that is the distance between the display centers is equal to the distance between the photographing centers of the two-plane images regardless of the line-of-sight direction. Determine the image cropping range,
Next, a stereo image display method characterized in that the cut-out left-eye image and right-eye image are displayed as a stereo image on the image display unit.

画像切出範囲を決定する際に、撮影中心間を結ぶ基準直線に直交する基準方向線と、上記基準直線の中点を通り且つ視線方向を含む指示直線との交差角θに基づく下記式にて示す補正距離δでもって、両平面画像から所定幅で切り出す画像切出範囲をそれぞれ外側に移動させることを特徴とする請求項２に記載のステレオ画像表示方法。
δ＝ｄ（１−ｃｏｓθ）／２（但し、ｄは両平面画像の撮影中心間距離を示す）When determining the image cut-out range, the following formula based on the intersection angle θ between the reference direction line orthogonal to the reference line connecting the imaging centers and the indication line passing through the midpoint of the reference line and including the line-of-sight direction 3. The stereo image display method according to claim 2, wherein an image cutout range cut out from the two plane images with a predetermined width is moved outwardly by a correction distance δ shown in FIG.
δ = d (1−cos θ) / 2 (where d represents the distance between the photographing centers of both planar images)

指示直線が基準直線の中点を通過せずにいずれか一方の撮影中心側にずれている場合、画像切出範囲の補正距離に、そのずれ量に応じたずれ補正量を加えることを特徴とする請求項３に記載のステレオ画像表示方法。When the indicated straight line does not pass through the midpoint of the reference straight line and is displaced toward one of the shooting centers, a deviation correction amount corresponding to the deviation amount is added to the correction distance of the image cutout range. The stereo image display method according to claim 3.

全方位を分割して撮影された画像の内、２つの画像を用いて任意の視線方向でのステレオ画像を表示させる装置であって、
全方位を分割し撮影した曲面画像を取り込む画像取込部と、
この画像取込部にて取り込まれた曲面画像を、視線方向に応じて左目用および右目用の平面画像に展開する画像展開部と、
これら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定する画像切出範囲決定部と、
この画像切出範囲決定部にて切り出された左目用および右目用画像を、ステレオ画像表示部に出力する画像出力部とから構成したことを特徴とするステレオ画像表示装置。A device that displays a stereo image in an arbitrary line-of-sight direction using two images among images taken by dividing all directions,
An image capture unit that captures a curved image captured by dividing all directions;
An image developing unit that develops the curved surface image captured by the image capturing unit into a planar image for the left eye and the right eye according to the line-of-sight direction;
When displaying these two-plane images, the parallax interval that is the distance between the display centers is equal to the distance between the shooting centers of the two-plane images regardless of the line-of-sight direction. An image cut-out range determination unit for determining the respective output ranges;
A stereo image display device comprising: an image output unit that outputs the left-eye and right-eye images cut out by the image cut-out range determination unit to a stereo image display unit.

全方位を分割して撮影された画像の内、２つの撮影画像を用いて任意の視線方向でのステレオ画像を表示させる装置であって、
全方位を分割し撮影した曲面画像を取り込む画像取込部と、
この画像取込部にて取り込まれた複数の曲面画像から、視線方向に応じて左目用および右目用の曲面画像を選択する画像選択部と、
この画像選択部にて選択された左目用および右目用の曲面画像をそれぞれ平面画像に展開する画像展開部と、
これら両平面画像を表示するに際し、その表示中心間距離である視差間隔が、視線方向に関係なく、両平面画像の撮影中心間距離に等しくなるように、当該各平面画像における表示用の画像切出範囲をそれぞれ決定する画像切出範囲決定部と、
この画像切出範囲決定部にて切り出された左目用および右目用画像を、ステレオ画像表示部に出力する画像出力部とから構成したことを特徴とするステレオ画像表示装置。A device for displaying a stereo image in an arbitrary line-of-sight direction using two captured images among images captured by dividing all directions,
An image capture unit that captures a curved image captured by dividing all directions;
An image selection unit that selects curved images for the left eye and the right eye according to the line-of-sight direction from the plurality of curved images captured by the image capturing unit;
An image development unit that develops the curved images for the left eye and the right eye selected by the image selection unit into flat images, and
When displaying these two-plane images, the parallax interval that is the distance between the display centers is equal to the distance between the shooting centers of the two-plane images regardless of the line-of-sight direction. An image cut-out range determination unit for determining the respective output ranges;
A stereo image display device comprising: an image output unit that outputs the left-eye and right-eye images cut out by the image cut-out range determination unit to a stereo image display unit.

画像切出範囲決定部において、撮影中心間を結ぶ基準直線に直交する基準方向線と、上記基準直線の中点を通り且つ視線方向を含む指示直線との交差角θに基づく下記式にて示す補正距離δでもって、両平面画像から所定幅で切り出す画像切出範囲をそれぞれ外側に移動させるようにしたことを特徴とする請求項６に記載のステレオ画像表示装置。
δ＝ｄ（１−ｃｏｓθ）／２（但し、ｄは両平面画像の撮影中心間距離を示す）In the image cut-out range determination unit, the following formula based on the intersection angle θ between the reference direction line orthogonal to the reference straight line connecting the photographing centers and the indication straight line passing through the midpoint of the reference straight line and including the line-of-sight direction is shown. 7. The stereo image display device according to claim 6, wherein an image cutout range cut out at a predetermined width from both planar images is moved outwardly by a correction distance δ.
δ = d (1−cos θ) / 2 (where d represents the distance between the photographing centers of both planar images)

指示直線が基準直線の中点を通過せずにいずれか一方の撮影中心側にずれている場合、画像切出範囲の補正距離に、そのずれ量に応じたずれ補正量を加えるようにしたことを特徴とする請求項７に記載のステレオ画像表示装置。When the pointing straight line does not pass the midpoint of the reference straight line and is shifted to one of the shooting centers, a correction amount corresponding to the shift amount is added to the correction distance of the image cutout range. The stereo image display device according to claim 7.