JP4183466B2 - 全方位双眼立体視画像の生成方法 - Google Patents
全方位双眼立体視画像の生成方法 Download PDFInfo
- Publication number
- JP4183466B2 JP4183466B2 JP2002277571A JP2002277571A JP4183466B2 JP 4183466 B2 JP4183466 B2 JP 4183466B2 JP 2002277571 A JP2002277571 A JP 2002277571A JP 2002277571 A JP2002277571 A JP 2002277571A JP 4183466 B2 JP4183466 B2 JP 4183466B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional
- camera
- rectangular
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
この発明は、実空間を撮影した画像からコンピュータ処理により撮影位置における全方位の双眼立体視を可能にする右目用と左目用の矩形画像を生成する方法に関するものである。
【0002】
【従来の技術】
遠隔地の景観や状況を観察ないし監視するために、現地に接地されたカメラの撮影画像を観察者が操作している表示端末にコンピュータネットワークを利用して送信するシステムは公知である。カメラとして一般的な矩形領域を撮影するカメラを用いたときには、観察者が望む方向を見るために、カメラの方向を遠隔制御する必要が生ずる。この方法は、カメラの方向を変えるための機械的な仕組みとその遠隔制御装置を必要とするため、全体システムが複雑になり高価になる。この問題を解決する手段として、撮影現場に凸面鏡ないし魚眼レンズなどを装着したカメラを設置して、当該カメラで全方位の画像を取り込む方法が利用されている。このような方法で取り込まれた全方位画像は、カメラの光軸の前方又は後方を中心とした円形ないし環状の二次元画像となるので、当該全方位画像を人間にとってなじみやすい矩形画像(所定の視野角に対応する部分の矩形画像又は全方位の景観を示す矩形画像)に変換して表示させる必要がある。
【0003】
特表2000−515984号公報には、環状の全方位画像を全方位を表示する矩形画像や観察者が指定する部分領域の矩形画像に変換して送信することについての記載がある。
【0004】
【発明が解決しようとする課題】
この発明の課題は、カメラの設置場所における全方位を遠隔地から双眼立体視可能にすることである。画像データの処理という観点から見た最も簡単な方法は、両目の間隔に等しい間隔で同方向に向けて2台のカメラを設置し、この2台のカメラを観察者が指定する方向に向けるようにすることである。しかし、この方法は、前述したように、全体システムが複雑になり高価になるとともに、複数の観察者がそれぞれ異なる方向を観察したいという要求には応えることができない。
【0005】
この発明の課題は、カメラ設置場所における全方位画像から当該場所での全方位の双眼立体視を可能にする右目用と左目用との2つの矩形画像を生成することである。この2つの矩形画像は、観察者が観察方向を変更したときに、新たな方向に対応する画像に変更される必要があり、同時に左目用と右目用の画像は、観察方向を向いた右目と左目の間隔に相当する視線のずれを備えたものでなければならない。
【0006】
この発明は、カメラで撮影された全方位の画像から観察者が選択する任意の方向の右目用と左目用の矩形の画像を生成する手段を提供するものであり、この発明の方法とコンピュータネットワークを利用することによって、遠隔地からカメラ設置場所の全方位の立体的な画像を観察することができるようになる。
【0007】
【課題を解決するための手段】
この発明の全方位双眼立体視画像の生成方法は、観察ないし監視しようとする場所に、対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に当該正四角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ1n〜1wを配置し、各カメラが撮影した全方位画像を前記正四角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した領域から、0度〜360度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む領域を選択して繋ぎ合わせることにより、右目用と左目用の全方位の矩形画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像から当該選択された方向の所定の視野角の矩形画像を切出すというものである。
【0008】
全方位カメラ1n〜1wで得られる画像は、カメラの数に等しい数の円形ないし環状の全方位画像であり、ユーザに提供される画像は、ユーザが選択した方向の所定の視野角の右目用と左目用との一対の矩形画像である。この発明の方法では、複数の全方位画像をそれぞれその頂点方向と辺の垂直二等分線の方向とで切断して一対の矩形のユーザ画像を生成する。この生成過程における極座標から直交座標への変換は、どの段階ででも行うことができるが、異なるカメラの画像から切断した画像相互の継ぎ目を滑らかな画像の変化に補正するときは、矩形画像に変換した後で補正して繋ぎ合わせる方法が技術的により簡単である。
【0009】
請求項2の発明に係る全方位双眼立体視画像の生成方法は、切断した扇状のセグメント画像を矩形のセグメント画像に変換して0度〜360度の観察方向に対応して、その観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む矩形のセグメント画像を選択して繋ぎ合わせることにより、右目用と左目用の全方位の矩形画像を生成したあと、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像から当該選択された方向の所定の視野角の矩形画像を切出すというものである。
【0010】
簡易なシステムでは、ユーザが選択する特定の範囲の観察方向に対して、同一画像で近似することも可能である。この場合には、切断した画像を接続するという操作は省略することが可能である。請求項3に係る全方位双眼立体視画像の生成方法は、切断した扇状のセグメント画像を矩形のセグメント画像に変換して0度〜360度の観察方向に対応して、その観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセ矩形のグメント画像を選択して右目用と左目用の矩形画像の複数対を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像の複数対から当該選択された方向に最も近い方向の対を選択するというものである。
【0011】
好ましい方法は、全方位カメラ1n〜1wを対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置する全方位双眼立体視画像の生成方法である。この場合、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に、交互に偏倚させて配置するのが好ましい。この方法によれば、少ない数のカメラでかつ隣接するカメラの映像を最少にした矩形画像を生成できる。
【0013】
【発明の実施の形態】
以下、この発明の全方位双眼立体視画像の生成方法を利用した立体画像の送信方法の例を示す添付図面を参照して、この発明の実施形態を説明する。
【0014】
図1はハードウェア構成図である。図1において、1n、1e、1s及び1wは全方位カメラ(アナログ又はディジタルカメラ)、2は画像生成用コンピュータ、3は配信サーバ、4はユーザ端末(表示端末)、5はルータ、6はインターネットである。全方位カメラ1n、1e、1s、1wは、水平面上の正四角形の各頂点位置に配置されており、当該正四角形の対向する頂点間の距離は、人間の両目の間隔と略等しい6cmとしてある。これらのカメラのそれぞれは、魚眼レンズないし放物凸面鏡7を備えており、各カメラの光軸を中心とする全方位の画像を撮影する。撮影された画像は、各カメラの結像面に円形の全方位画像を生成する。
【0015】
画像生成用コンピュータ2は、一般的なコンピュータシステムと同じ構成であり、CPU、メインメモリ、入力インタフェイス、ネットワークインタフェイスなどを備えている。画像生成用コンピュータ2は、円形の全方位画像の指定された領域を矩形画像に変換する画像変換手段(演算式やテーブルなど)、生成された複数の矩形画像を所定の順序で接続して全方位を表示する矩形のパノラマ画像を生成するパノラマ画像生成手段及び矩形画像を接続する際に隣接する矩形画像の接続部に生じているずれや歪みを補正する補正手段を備えている。補正手段は、隣接する矩形画像が異なるカメラで撮影された全方位画像を元にして生成されたものであるときは、カメラの設置位置のずれ及び基準方向(図の例ではN、E、S及びW方向)からの角度ずれに基づく矩形画像の周縁部及び接続部の画像データを補正する。
【0016】
配信サーバ3は、画像生成用コンピュータ2で生成された右目用と左目用の2つのパノラマ画像を保持し、各ユーザ端末から指令されたそれぞれの方向の所定の視野角の矩形領域をそれぞれのパノラマ画像から切り取って、当該ユーザの端末に送信する。
【0017】
画像生成用コンピュータ2で行われる画像処理が図2に示されている。4個の全方位カメラ1n、1e、1s、1wから受信した4個の円形の全方位画像10n、10e、10s、10wは、基準方向を含む円周を8等分する線で切断され、不要部分(図に斜線で示す部分)は捨てられる。残った16個の扇状のセグメントは、それぞれが矩形画像に変換された後、所定の順序で接続されて左目用と右目用の全方位のパノラマ画像11L、11Rが作成される。各セグメントを接続する順序は、全方位画像の扇形のセグメントとパノラマ画像の矩形のセグメントとに図で同一の1L〜8L、1R〜8Rの番号を付して示してある。また、全方位画像とパノラマ画像における基準方向及びその中間の方向は、図でN、E、S、W及びNE、SE、SW、NWで示してある。これらの記号は東西南北及びその中間の方向を示すアルファベット記号となっているが、必ずしもNが真北を向いている必要はない。前述した補正手段は、パノラマ画像11の図でNE、SE、SW及びNWで示す接続部分の画像を補正するのに用いられる。
【0018】
生成された2つのパノラマ画像11L、11Rは、配信サーバ3に送られる。図3は、配信サーバ3で行う画像処理を示した図である。配信サーバ3は、受取った2つのパノラマ画像11L、11Rを保持し、各ユーザ端末からの観察方向の選択信号に応じて、右目用と左目用のパノラマ画像から対応する視野角分の画像領域を切り取って、右目用及び左目用の2つの矩形画像を各端末にインターネット6を介して送信する。
【0019】
ユーザ端末に送信する画像は、例えば観察者がN方向を見ている場合、図のN方向を0度、右回りを+方向として、−45度から0度までの左目の画像は「1L」を、右目の画像は「1R」を使用する。0度から+45度までの左目の画像は「2L」を、右目の画像は「2R」を使用する。同様に、観察者がE方向を見ている場合、+45度から+90度までの左目の画像は「3L」を、右目の画像は「3R」を使用する。+90度から+135度までの左目の画像は「4L」を、右目の画像は「4R」を使用する。
【0020】
つまり、観察者が見ている方向に対して、視線と直交する方向に離れて設置された2地点のカメラの画像を常に用いて景観を表示するということである。例えば、N方向とNE方向との間の画像を取得する場合、E方向よりN方向に近いため、そのN方向に対して垂直な方向の2地点の画像2Lと2Rを使用し、E方向とNE方向との間の画像を取得する場合はN方向よりE方向に近いため、そのE方向に対して垂直な方向の2地点の画像3Lと3Rを使用する。従って、+20度方向の画像を得たい場合、左目の画像は2Lから、右目の画像は2Rから取得することになる。同様に、+75度方向の画像が得たい場合は左目の画像は3Lから、右目の画像は3Rから取得する。
【0021】
更に、パノラマ画像の接続部に適正な補正を行うことにより、任意の方向及び視野角の双眼視を実現するための矩形画像をパノラマ画像11L、11Rから切出してユーザ端末に送信することができる。
【0022】
全方位カメラ1n〜1wを図1に示すように正四角形の頂点位置に配置した場合、矩形画像を生成するのに使用する撮影領域2L、4L、6L、8L及び1R、3R、5R、7Rの端に隣接するカメラの一部が映る。この問題は、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に、交互に偏倚させて配置することで解決できる。即ち、図4に示すように、カメラ1n、1sをこれらに隣接するカメラ1e、1wに対してカメラ本体に対するレンズの上下位置を上下逆方向にし、更に、カメラ1n、1sとこれらに隣接するカメラ1e、1wとが離隔する光軸方向に、交互に偏倚させて配置する。カメラを交互に偏倚させることにより、図の例では、カメラ1n、1sの撮影高さは面NSにあり、カメラ1e、1wの撮影高さは面EWにある。そしてこの面NSと面EWとは、隣接するカメラが各カメラの上下方向の視野から外れる間隔だけ離隔させてある。カメラをこの様に配置したときは、カメラ1n、1sの画像とカメラ1e、1wの画像との間に高さ方向のずれが生ずるが、風景などの遠景の撮影時には、このずれは殆ど問題にならないし、近景のときは画像に高さ補正することにより、ずれを目立たなくすることができる。
【0026】
なお、ユーザ端末が1台ないし数台程度であるときは、全方位をパノラマ画像に変換する代わりに観察者が指定する方向の扇状セグメントのみをその領域の矩形画像に変換して送信するという方法を採用することもできる。
【図面の簡単な説明】
【図1】 この発明の方法を用いた全方位双眼立体視画像の配信システムを示すハードウェア構成図
【図2】 図1の画像生成用コンピュータでの画像処理を示す説明図
【図3】 図1の配信サーバでの画像処理を示す説明図
【図4】 図1の例におけるカメラ配置を示した図
【符号の説明】
1n,1e,1s,1w 全方位カメラ
10n,10e,10s,10w 各全方位カメラの円形の全方位画像
11L,11R 左目用と右目用の矩形の全方位画像
Claims (3)
- 対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に当該正四角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ(1n 〜 1w) を、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に交互に偏倚させて配置し、各カメラが撮影した全方位画像を前記正四角形の各頂点の方向及び各辺の垂直二等分線の方向で切断したセグメント画像から、0度〜360度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセグメントを選択して繋ぎ合わせることにより、右目用と左目用の全方位画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の全方位画像から当該選択された方向の所定の視野角の矩形画像を切出すことを特徴とする、全方位双眼立体視画像の生成方法。
- 対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に当該正四角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ(1n 〜 1w) を、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に交互に偏倚させて配置し、各カメラが撮影した円形の全方位画像の前記正四角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した扇状の領域を矩形のセグメント画像に変換し、0度〜360度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセグメントを繋ぎ合わせることにより、右目用と左目用の矩形の全方位画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の全方位画像から当該選択された方向の所定の視野角の矩形画像を切出すことを特徴とする、全方位双眼立体視画像の生成方法。
- 対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に当該正四角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ(1n 〜 1w) を、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に交互に偏倚させて配置し、各カメラが撮影した全方位画像を前記正四角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した扇状の領域を矩形のセグメント画像に変換し、0度〜360度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む一対のセグメント画像で右目用と左目用の矩形画像の複数対を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像の複数対から当該選択された方向に最も近い方向の対を選択することを特徴とする、全方位双眼立体視画像の生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002277571A JP4183466B2 (ja) | 2002-09-24 | 2002-09-24 | 全方位双眼立体視画像の生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002277571A JP4183466B2 (ja) | 2002-09-24 | 2002-09-24 | 全方位双眼立体視画像の生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004120095A JP2004120095A (ja) | 2004-04-15 |
JP4183466B2 true JP4183466B2 (ja) | 2008-11-19 |
Family
ID=32273128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002277571A Expired - Fee Related JP4183466B2 (ja) | 2002-09-24 | 2002-09-24 | 全方位双眼立体視画像の生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4183466B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166456A (ja) * | 2009-01-19 | 2010-07-29 | Nikon Corp | 映像システム |
JP6126820B2 (ja) * | 2012-11-09 | 2017-05-10 | 任天堂株式会社 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
JP6126821B2 (ja) | 2012-11-09 | 2017-05-10 | 任天堂株式会社 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
JP2014131154A (ja) * | 2012-12-28 | 2014-07-10 | Pioneer Electronic Corp | 映像処理装置、映像受信装置、映像送信装置及び映像処理方法 |
CA2938159C (en) * | 2013-02-04 | 2021-07-27 | Valorisation-Recherche, Limited Partnership | Omnistereo imaging |
US20210037231A1 (en) * | 2018-02-09 | 2021-02-04 | Sony Corporation | Image processing apparatus, image processing method, and image processing program |
-
2002
- 2002-09-24 JP JP2002277571A patent/JP4183466B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004120095A (ja) | 2004-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
CN102457752B (zh) | 成像设备、图像处理设备、图像处理方法和程序 | |
US9264695B2 (en) | System and method for multi-viewpoint video capture | |
KR101685418B1 (ko) | 3차원 영상을 생성하는 감시 시스템 | |
US20210392275A1 (en) | Camera array for a mediated-reality system | |
JPH0795467A (ja) | 画像処理装置 | |
JP3534785B2 (ja) | 高臨場映像表示方法とその装置 | |
CN101636747A (zh) | 二维/三维数字信息获取和显示设备 | |
JP2010181826A (ja) | 立体画像形成装置 | |
KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
JP4183466B2 (ja) | 全方位双眼立体視画像の生成方法 | |
JP2012129768A (ja) | 書画カメラ、書画カメラの制御方法、プログラムおよび表示処理システム | |
JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2000206635A (ja) | パノラマ像装置 | |
CN107646193B (zh) | 双目立体视觉图像的提供方法、传送装置和照相机单元 | |
JP5243359B2 (ja) | 立体画像生成システムおよびプログラム | |
WO2017092369A1 (zh) | 一种头戴设备、三维视频通话***和三维视频通话实现方法 | |
JP2013105000A (ja) | 映像表示装置及び映像表示方法 | |
JP3600422B2 (ja) | ステレオ画像表示方法及び装置 | |
JP2011182003A (ja) | パノラマカメラ及び360度パノラマ立体映像システム | |
JP2011082935A (ja) | 画像処理装置 | |
JP2014116818A (ja) | 全天周立体映像表示装置、全天周立体映像表示方法、映像データ補正プログラム | |
US11831851B1 (en) | Multiple camera sensor system | |
KR20170059879A (ko) | 입체 영상 촬영 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4183466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |