JP2004531113A - 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 - Google Patents
注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 Download PDFInfo
- Publication number
- JP2004531113A JP2004531113A JP2002565367A JP2002565367A JP2004531113A JP 2004531113 A JP2004531113 A JP 2004531113A JP 2002565367 A JP2002565367 A JP 2002565367A JP 2002565367 A JP2002565367 A JP 2002565367A JP 2004531113 A JP2004531113 A JP 2004531113A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- electrically connected
- camera
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 36
- 230000003287 optical effect Effects 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】全方位性の３６０゜撮影と高さ方向に沿った、相違した露出撮影による３次元イメージの獲得及び感光範囲の拡大が可能であり、撮影されたイメージは撮影位置及び撮影時間による注釈を記入して地理情報として用い、他の地理情報システムのデータベースと連動して活用され得る注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供する。
【解決手段】獲得装置は複数個のカメラを、一地点を中心として相互対称されるように配置して形成された多重カメラモジュールを含み、上記多重カメラモジュールは３次元イメージ獲得及びイメージに対する感光範囲の拡大のために、高さ方向に沿って積層され、使用されることができる。そして、撮影に対する全般的な制御と撮影されたイメージの貯蔵のために上記多重カメラモジュールにコンピュータビジョンシステムを電気的に連結し、モバイール機能が付与されるように移動手段に搭載して使用する。
【選択図】図１
【解決手段】獲得装置は複数個のカメラを、一地点を中心として相互対称されるように配置して形成された多重カメラモジュールを含み、上記多重カメラモジュールは３次元イメージ獲得及びイメージに対する感光範囲の拡大のために、高さ方向に沿って積層され、使用されることができる。そして、撮影に対する全般的な制御と撮影されたイメージの貯蔵のために上記多重カメラモジュールにコンピュータビジョンシステムを電気的に連結し、モバイール機能が付与されるように移動手段に搭載して使用する。
【選択図】図１
Description
【技術分野】
【０００１】
本発明は、イメージデータを獲得するための技術分野であって、より詳しくは、注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法に関するものである。
【０００２】
本出願は米国で２００１年 ２月 ９日に仮出願された、出願番号第60/267,761号の利益に対する権利を主張する。
【背景技術】
【０００３】
特定地点での人の視覚的な経験が記録され、再現されるための努力などが続けられてきた。全方位性写真は特定瞬間、一地点での視覚的な経験を再現するのに効果的な手段のうち一つである。このような全方位性写真は水平に３６０゜、垂直に１８０゜の領域までを記録することができ、写真撮影が実施された地点を中心として完全な球形の撮影領域を確保することができる。
【０００４】
しかし、人の視覚的な経験を記録及び再現するためには、全体球形領域を撮影するよりは、水平領域部分にもっと集中することがより効果的である。このような理由により、球形視覚領域の上側部と下側部とを省略したパノラマイメージも広く用いられてきた。
【０００５】
現在までの全方位性イメージ取得方法を分類すれば、次の通りである。
（ａ）非平面鏡とカメラとを用いて半球程度の視覚領域を確保しようとする方法。
（ｂ）多数個の平面鏡と多数個のカメラとを用いてもっと広い視覚領域を確保しようとする方法。
（ｃ）カメラを回転させて多数個のイメージを撮影し、撮影された各イメージを連結してパノラマイメージを生成させる方法。
（ｄ）ラインスキャンカメラを回転させて単一のパノラマイメージを生成させる方法(http://www.e-pan.com/index.html)。
（ｅ）互いに異なる視覚領域を担当する多数個のカメラを用いてもっと広い視覚領域を確保する方法（例えば、米国特許登録第5,023,725号）。
（ｆ）魚眼レンズを用いて半球程度の視覚領域を確保する方法（例えば、米国特許第5,185,667号）。
前記各方法には固有の長所と短所とがある。（ａ）の方法と（ｆ）の方法とは、特別に大きいセンサーを用いない限り、１個のカメラで広い視覚領域を確保しようとするため、画質が顕著に劣る問題点がある。（ｂ）の方法では、かなり大きいサイズの鏡を用いなくてはより広い縦方向の視覚領域を確保し難い問題点がある。（ｃ）の方法と（ｄ）の方法とは、カメラを回転させて全方位性イメージを獲得する方法であるため、まず、（ｃ）の方法は、カメラの回転時間に基づいて動く同一対象物に対しては撮影された上記対象物の位置が各イメージ別に互いに異なる問題点がある。そして、（ｄ）の方法では、動く対象物が歪曲されて現れる問題点がある。（ｅ）の方法は、幾台のカメラを用いて広い視覚領域を確保することになる。このような（ｅ）の方法では、各カメラの担当領域が比較的狭められることができるため、全体写真の画質は必要なだけ改善させることができる。
しかし、上記（ｅ）の方法を実現するための構造の装置が自動車のような移動手段に搭載されて撮影を行う場合には、各カメラの精密制御が容易でない問題点がある。
高速移動によるイメージ撮影時、切実に要求される精密制御として、第一に、写真撮影を行おうとする位置ですべてのカメラに対して精密に同期化されたトリガリングが容易でない問題点があり、第二には、互いに異なる方向に向けている各カメラに対して動きに基づいた映像ぼやけ現象がなく、適正露出程度を調整するのが難しい問題点がある。
【０００６】
本発明では、正確な位置でトリガー信号を精密に送出し、各カメラ別に適正露出程度を計算してゲイン、オフセット及び露出時間から構成された露出信号を各カメラに送出することにより、上記のような(ｅ）の方法での技術的な問題などを克服できる。所望の写真位置を精密に決定するために、本発明による装置は動く間、ＧＰＳセンサー、距離センサー及び方向センサーを用いて現在の位置を測定する。
【０００７】
合わせて、本発明は全方位性３次元情報取得及び感光範囲の拡大を具現することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従って、本発明は上記のような従来の問題点などに鑑みて案出されたものであって、本発明の第１の目的は、装置周辺の対象物に対する全方位性撮影がなされ得るし、カメラを積層してなされる構造として対象物を撮影し、３次元データを獲得できる注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
本発明の第２の目的は、積層された各カメラの露出程度を相違にして感光範囲の拡大を実現できる全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
本発明の第３の目的は、イメージに対する注釈記入により地理情報として用いられ、他の地理情報システムのデータベースと連動して活用できる注釈記入による３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
また、本発明の第４の目的は、カメラの積層構造に基づいて発生したイメージ処理アル
ゴリズムを用いて３次元データ獲得速度を高めることができる注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
【課題を解決するための手段】
【０００９】
このような本発明の目的などは、一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含み、前記多重カメラモジュールが高さ方向に沿って積層されて高さ方向に少なくとも２層を形成する全方位性３次元イメージデータ獲得装置によって達成される。
ここで、前記露出量計算機が外部の光度に基づき、前記各カメラの露出量を計算できるように、前記露出量計算機に電気的に連結される複数個の光度感知センサーが更に備えられる。
上記装置のうち、貯蔵手段はハードディスク、コンパクトディスク、磁気テープ及びメモリーを含むデジタル貯蔵装置群から選択されるいずれか一つである。
合わせて、前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するオーディオクリップが更に添付され得るように、音声感知センサーから感知される音声信号をデジタル信号に変換するオーディオデジタル変換器が電気的に更に連結されることが望ましい。
また、前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するビデオクリップが更に添付され得るように、撮影された動映像をフレーム別に抽出する第２のフレーム抽出機を媒介にしてビデオカメラが電気的に更に連結されることが望ましい。
そして、前記多重カメラモジュールは上向き撮影が可能なように上部にカメラが更に備えられる。
ここで、前記全方位性３次元イメージ獲得装置には前記多重カメラモジュールの連続的なパノラマ撮影が可能なように、前記多重カメラモジュールを上部に搭載して移動する移動手段が更に含まれる。
そして、撮影された各イメージの距離及び方向情報を感知できるように距離感知センサー及び方向感知センサーが更に備えられる。
合わせて、本発明の目的などは、全方位の角度を分割し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラで高さ方向に沿って同一な対象物を撮影し、複数個のイメージを獲得する段階；前記各イメージから互いに対応する点を探し出す段階；幾何学的な三角法を用いて距離情報を抽出する段階；前記距離情報に基づいて３次元イメージを獲得する段階；を含む３次元データ獲得方法によって達成される。
また、本発明の目的などは、全方位の角度を分割し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラの露出程度を互いに異にして同一な対象物を撮影する段階；撮影された各イメージから一定した露出程度を有する部分を選択的に抽出する段階；抽出された各イメージを合成して感光範囲が拡大された最終イメージを獲得する段階；を含む感光範囲の拡大方法によって達成される。
なお、本発明の上記目的などは、一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；前記多重カメラモジュールを乗降させるように備えられる乗降器；前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含む全方位性３次元イメージデータ獲得装置によって達成される。
本発明のその他の目的、特定な長所など及び新規な特徴などは添付された図面などと連関される以下の詳細な説明と望ましい実施例などからもっと明らかになるだろう。
【発明の効果】
【００１０】
本発明による全方位性３次元イメージデータ獲得装置及び注釈記入による３次元データ獲得方法と感光範囲の拡大方法によると、全方位性撮影及び高さ方向に沿ってカメラを積層して撮影することにより、撮影対象物に対する３次元イメージを獲得することができ、この時、各カメラの露出程度を異にしてイメージに対する感光範囲の拡大を実現できる長所がある。
さらに、撮影されたイメージは撮影位置及び撮影時間に応じた注釈記入によって貯蔵され、情報の有効性を増大させることができ、これはその他の地理情報システムから生成された更に他の地理情報と連結され、地理情報システムと連動して活用され得る特徴がある。
合わせて、移動手段が備えられており、移動しながら連続的に撮影が可能である。
例え、本発明が以下で言及する望ましい実施例と関連して説明されたが、本発明の要旨と範囲から外れることなく、他の多様な修正及び変形が可能であるだろう。従って、添付された請求の範囲は本発明の真正な範囲内に属する、そのような修正及び変形を含むものであると思われる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施例に関して添付された図面と共に詳しく説明する。
【００１２】
図１は本発明の第１の実施例による上記獲得装置の構成図であり、図２ａから図２ｅまでは本発明による多重カメラモジュールが形態を異にして積層された模様を図示した構成図である。
【００１３】
図１及び図２ａ〜図２ｆのように、上記獲得装置１００は多重カメラモジュール１０と、上記多重カメラモジュール１０に電気的に連結されるコンピュータビジョンシステム３０を含んでなされる。
【００１４】
上記多重カメラモジュール１０は全方位の３６０゜撮影が可能なように複数個のカメラ１１を、一地点を中心として対称されるように配置して構成されたものである。
【００１５】
ここで、上記各多重カメラモジュール１０は高さ方向に積層する構造を取ることができ、これにより、同一な対象物を高さ方向に沿って複数個のカメラ１０を通じ、撮影して３次元イメージを獲得することができる。合わせて、積層された多重カメラモジュール１０の各カメラ１１の露出程度を異にして撮影が行われると、イメージに対する感光範囲(Dynamic Extension)の拡大が実現され得る。
【００１６】
そして、上記コンピュータビジョンシステム３０は各カメラ１１の撮影されたイメージをデジタルデータとして貯蔵するためのものである。上記多重カメラモジュール１０で撮影されたイメージはコンピュータビジョンシステム３０の第１のフレーム抽出機３１からフレーム別に抽出される。そして、注釈記入器３５で対応する撮影位置及び時間別に注釈を記入して貯蔵手段３２に貯蔵される。
【００１７】
このような上記獲得装置１００で上記多重カメラモジュール１０は、各カメラ１１のオプチカルセンターが同一平面上に位置するようにし、一地点を中心として相互対称されるように配置させてなされたものである。
【００１８】
この時、各カメラ１１は全方位、即ち、３６０゜撮影がパノラマ撮影技法で可能なように全方位角度を等分して担当することになる。例えば、上記多重カメラモジュール１０をなすカメラ１１が総４個または５個である場合、上記各カメラ１１は約９０゜或いは７２゜くらいほどの角度を等分して担当する。また、上記多重カメラモジュール１０の各カメラ１１が高さ方向に沿って相違した露出で撮影できるように複数個の多重カメラモジュール１０が積層される。このために、上記各多重カメラモジュール１０の各カメラ１１は高さ方向に沿って相互一直線上に配置される。
【００１９】
合わせて、上記多重カメラモジュール１０が積層配置されている場合、最上層の多重カメラモジュール１０には図２ｃ、２ｄ、２ｆのように、１個のカメラ１１が更に備えられる。ここで、上記多重カメラモジュール１０の上層に設けられたカメラ１１は撮影方向を上向きにして設けられることにより、全方位はもちろん、上向き撮影も可能である。
【００２０】
上記のように記述した多重カメラモジュール１０で各カメラ１１が撮影したイメージは第１のフレーム抽出機３１からフレーム別に抽出される。この時、上記第１のフレーム抽出機３１は１個の多重カメラモジュール１０を１個のレーヤ(Layer)と見なす場合、各レーヤをなす各カメラ１１別に個別連結されている。
【００２１】
上記各第１のフレーム抽出機３１から抽出されたフレーム別イメージは貯蔵手段３２に貯蔵されると共に、上記第１のフレーム抽出機３１に電気的に連結された露出量計算機３３に送達される。上記貯蔵手段３２は撮影されたイメージをデジタルデータに貯蔵するものであって、ハードディスク、コンパクトディスク、磁気テープ、メモリーなどのようなデジタル貯蔵装置から択一して使用することができる。
【００２２】
合わせて、上記第１のフレーム抽出機３１から上記露出量計算機３３に伝達されたイメージは上記露出量計算機３３により分析され、これを通じて各カメラ１１の露出量が計算される。計算された露出量は上記露出量計算機３３に電気的に連結された露出信号発生器３４に送達される。そして、上記露出信号発生器３４は上記露出量に基づき、各カメラ１１が露出すべき露出程度を信号として上記各カメラ１１に送出する。この時、上記各カメラ１１の撮影位置及び時間、距離、方向などのような一種の地理情報は、衛星から位置情報を実施間で収集できるＧＰＳセンサー２０を通じて得ることができる。
【００２３】
上記ＧＰＳセンサー２０の他に、距離感知センサー３７ａ及び方向感知センサー３７ｂが更に備えられて撮影距離及び撮影方向を得ることができる。ここで、上記ＧＰＳセンサー２０は衛星から実施間で位置データを伝送されて位置情報を実施間で確認することができるが、撮影中、高層ビルとかトンネル、林などのように、ＧＰＳ信号の受信が妨害を受ける地域に至ることになると、衛星からのＧＰＳ信号が遮断されることがある。
【００２４】
このように、ＧＰＳ信号の有効性が顕著に劣ることになると、上記距離感知センサー３７ａ及び方向感知センサー３７ｂの感知信号が二次的な情報として活用される。
【００２５】
合わせて、上記ＧＰＳセンサー２０、距離感知センサー３７ａ及び方向感知センサー３７ｂに注釈記入器３５が電気的に連結され、上記各センサー２０、３７ａ、３７ｂから感知された地理情報データを受信する。そうしたら、上記注釈記入器３５は受信を受けた上記地理情報データに基づき、上記貯蔵手段３２に貯蔵される上記各フレームに対応する注釈を記入することになる。上記注釈は撮影されたイメージの各フレーム別の撮影位置、方向及び撮影時間であって、上記イメージはフレーム別にこのような注釈が記入されて上記貯蔵手段３２に貯蔵される。この時、上記貯蔵手段３２で上記カメラ１１が撮影をする段階と、イメージが貯蔵される段階とが相互順次的、或いは同時並行で進行されることができる。そして、これに関連された各センサー２０、３７ａ、３７ｂの感知動作及びカメラ１１に対する露出情報の計算及び交流などのような一連の動作などもやはり、連動して進行される必要がある。
【００２６】
各撮影及び貯蔵段階などと、これに関係された動作などの進行は、トリガー信号発生器３６が露出信号発生器３４にトリガー信号を送出するところから開示される。
【００２７】
上記トリガー信号発生器３６は上記距離感知センサー３７ａ及び注釈記入器３５の間に電気的に連結される。
【００２８】
この時、上記ＧＰＳセンサー２０から上記注釈記入器３５に伝達される注釈写真及び時間、地理情報が先に活用される。
【００２９】
以後、もし、上記ＧＰＳセンサー２０の有効性が低下されたら、二次的に上記距離感知センサー３７ａの感知信号が上記注釈記入器３５で活用される。
【００３０】
この時、上記貯蔵手段３２でのイメージ貯蔵速度が上記イメージの獲得速度に比べてずっと遅くなると、イメージ貯蔵動作がイメージ獲得動作を乗り越えるために、トリガー信号は一時遮断されることがある。
【００３１】
一方、上記貯蔵手段３２には貯蔵される各イメージまたはイメージグループに対応するオーディオクリップまたはビデオクリップが補助資料として更に添付され得るように、オーディオデジタル変換器３８またはビデオカメラ３９が電気的に更に連結される。上記オーディオデジタル変換器３８は音声感知センサー３８ａから感知されるアナログ音声信号をデジタル信号に変換して上記貯蔵手段３２にデジタルデータとして貯蔵する。そして、上記ビデオカメラ３９は撮影位置または撮影区間で撮影されたイメージまたはイメージグループに対応して周辺対象物２００を動映像として撮影することになり、撮影された動映像は第２のフレーム抽出機３９ａからフレーム別に抽出して上記貯蔵手段３２に貯蔵される。
【００３２】
図３は本発明の第２の実施例による全方位性３次元イメージデータ獲得装置の構成図である。
【００３３】
図３に図示されたように、露出信号計算機３３は各カメラ１１の露出程度を計算する。そして、計算された露出情報は露出信号発生器３４によって上記各カメラ１１に送信される。この時、上記露出信号計算機３３には撮影位置の周辺または対象物２００の前面での光度を感知できるように光度感知センサー３３ａが電気的に更に連結される。
【００３４】
従って、上記光度感知センサー３３ａから感知されて伝送される光度感知信号は上記露出量計算機３３に送信され、上記露出量計算機３３によってカメラ１１の露出量を計算することになる。計算された露出量は露出信号発生器３４を通じて信号として各カメラ１１に伝送され、各カメラ１１は露出信号に基づいて露出程度を調節することになる。
【００３５】
図４は本発明による多重カメラモジュールがハウジングに装着された模様を図示した斜視図であって、図５は上記獲得装置が移動手段に搭載された第１の構成図であり、図６は上記獲得装置が移動手段に搭載された第２の構成図である。
【００３６】
図４乃至図６に図示されたように、上記多重カメラモジュール１０及びコンピュータビジョンシステム３０はモバイール機能が付与されるように移動手段６０に搭載されて移動しながら周辺対象物２００を撮影することができる。上記多重カメラモジュール１０は胴体部位は保護し、レンズ部位のみが外部へ露出され得るように一定したハウジング４０内に装着される。そして、上記ハウジング４０の下部はジグ５０によって支持されながら、一定高さで離隔され、上記移動手段６０に設けられた乗降器７０によって上下に乗降される。移動手段６０は駆動エンジンが装着される自動車、或いは移動されることができる車であることが望ましい。もし、道路で移動しながら撮影する場合には上記自動車を使用し、人道や廊下で移動しながら撮影する場合には車を使用する。
【００３７】
図７は本発明による３次元データの獲得方法に関する順序図である。
【００３８】
図７に図示されたように、まず、多数個のカメラ１１を、一地点を中心として相互対称されながらオプチカルセンターが同一平面上に位置するように配置して多重カメラモジュール１０を構成することにおいて、構成された上記多重カメラモジュール１０を高さ方向に沿って積層する。上記各多重カメラモジュール１０で高さ方向に沿ってオプチカルセンターが一列に配置された各カメラ１１で一定位置にある同一な対象物２００を撮影する。そうすると、各カメラ１１は同一な対象物を撮影するが、撮影された複数個のイメージは互いに異なる位置で撮影されたため、イメージ上の対象物２００の位置が相違することになる（Ｓ１１００）。合わせて、上記各イメージで互いに対応する点を探し出す（Ｓ１２００）。そして、幾何学的三角法を用いて各点の距離を測定することにより、全般的な距離情報を抽出する（Ｓ１３００）。抽出された距離情報に基づいて明暗関係がはっきりした３次元イメージを獲得する（Ｓ１４００）。
【００３９】
図８は本発明により撮影されたイメージを有するカメラシステムの感光範囲の拡大方法に関する構成図である。
【００４０】
図８に図示されたように、垂直に積層された３組の多重カメラモジュール１０でそれぞれ相違した露出として同一な対象物２００を３個のイメージで撮影した。
【００４１】
各カメラ１１は対象物２００が感光範囲の上位限界水準より明るければ、白色のように最大明るさとして記録され、対象物２００が感光範囲の下位限界水準より暗ければ、黒色のように最小の明るさとして記録される。両方の場合、すべてイメージ領域の詳細な部分は損失される。もし、積層されたカメラ１１が異なった露出で同じ対象物２００を記録したら、対象物２００の明るさがある一つのカメラ１１の感光範囲を超過しても他のカメラ１１は感光範囲内にあることができる。露出を異にした各カメラ１１は感光範囲が異なるので、それぞれ対象物２００の詳細な部分を撮ることができる領域が異なることになる。これにより、感光範囲が異なるカメラ１１で撮ったイメージを合成してもっと良いイメージを作られることになる。
【００４２】
図９は本発明による感光範囲の拡大方法に関する順序図である。
【００４３】
図９に図示されたように、感光範囲の拡大方法を拡大するために、高さ方向に沿って３組の多重カメラモジュール１０を積層する。上記多重カメラモジュール１０は全方位の角度を等分し、個別的に担当する各カメラ１１が一地点を中心として相互対称されるように配列されてなされる構造である。さらに、各カメラ１１の視野角は複数のカメラ１１により３６０を分割するように配置される。
【００４４】
以後、上記各多重カメラモジュール１０をなす各カメラ１１の露出程度を互いに異にする。そして、一定位置にある一つの対象物２００を撮影して同一な対象物２００を撮影した複数個のイメージを獲得する（Ｓ２１００）。
【００４５】
次に、撮影された各イメージから適正な露出程度を有する部分を選択的に抽出する。この時、露出程度の選択は肉眼で識別するのに視覚的に一番はっきりと撮影されたものを選択する（Ｓ２２００）。
【００４６】
最後に抽出されたイメージを合成して感光範囲が拡大された最終イメージを獲得する（Ｓ２３００）。
【００４７】
上記において、多重カメラモジュール１０の組数は３組の他に、２組以上であれば感光範囲の拡大が可能である。
【００４８】
図１０は本発明による多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図である。
【００４９】
複数個のカメラ１１から構成された広角、或いは多重カメラモジュール１０は数個のオプチカルセンターを同時に持つことができる。各カメラ１１は個別的にオプチカルセンターと球形座標の一部分を担当することになる有効撮影角度を有することになる。各カメラ１１が担当する有効撮影角度に局限して全方位性イメージセンサーは単一のオプチカルセンターを有するといえる。本例示図では４個の個別的な球形座標が初期化されて設定及び補正された。例え、本例示図では４個のカメラ１１が図示されたが、本発明の方法の範囲を修正することなく、カメラ１１の個数を任意に選択して使用することができる。このような球形座標系はエピポーラー(Epipolar)幾何学的構造をもう少し効果的に適用するために、対をなした一組のカメラ１１に対して整列されるように任意の方向に回転させることができる。
【００５０】
図１１は図１０の上部を図示した平面図である。
【００５１】
このような実施例において、１２０゜の有効撮影角度を有する４台のカメラ１１が相互近接したカメラ１１と重なる部分を有し、全方位の３６０゜までを担当することができる。
【００５２】
図１２は本発明による２層をなす多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図である。
【００５３】
高さ方向に沿った整列で人の自然的な視覚方向である水平方向に対して３次元距離(Depth)情報を含んだ３６０゜パノラマイメージを取得するのに有利である。球形座標は高さ方向に沿った各多重カメラモジュール１０の２台のカメラ１１が持っている各オプチカルセンターを連結する線と、その軸とが一致されるように整列される。球形座標の設定は２個のイメージ間の対応点(Feature point)を探すために、エピポーラー幾何学的構造を適用するのに有利である。この時、２台のカメラ１１から獲得された２個のイメージに対するエピポーラー線が上記球形座標の経線となる。
【００５４】
図１３は本発明に従って円筒形映写によりパノラマイメージを生成する実施図であり、図１４は本発明に従って球形映写によりパノラマイメージを生成する実施図である。即ち、図１３及び図１４は六角形のイメージから円筒形映写物または球形映写物の代表的なパノラマイメージ生成をみせてくれる。生成された円筒形または球形イメージは使用者に提示される前に、円筒または球の表面に対応され、使用者がコンピュータモニター上の観察ソフトウェアのウィンドーを介して円筒または球の表面に観察されるように提示される。図１３の点線は各カメラ１１の投影領域を示す。
【００５５】
図１５は本発明による全方位性３次元イメージデータ獲得装置を用いて３次元の距離データを獲得する段階を図示した順序図である。即ち、図１５は球形座標系の設定とエピポーラー幾何学構造とを適用して３次元データを抽出する段階である。このような方法はまず、球形座標は球形座標の中心がカメラ１１のオプチカルセンターに固定され、球形座標の軸とオプチカルセンターの軸とが直線上にあるように設定する段階（Ｓ１００）を含む。
【００５６】
そして、マッピングテーブル(Mapping Table)、或いは球形座標上の点とカメラ１１のイメージ平面上の点との間のマッピング関数を実験的とか数学的な校正により発見する（Ｓ２００）。
【００５７】
２個のイメージ獲得位置間の小さい視覚差異を有する同一場面に対する２個の２次元イメージを獲得する（Ｓ３００）。
【００５８】
マッピングテーブル、或いはマッピング関数を用いて２個の球の表面（または球を表現するデータ構造）に上記２個の２次元イメージを対応させる（Ｓ４００）。
【００５９】
球形座標系の軸と対をなした２台のカメラ１１のオプチカルセンターを連結する線が相互一致され、２個の球形座標の緯度線０゜が同じ方向になるように上記球形座標系を回転させる（Ｓ５００）。
【００６０】
合わせて、上記２個のイメージ間から対応する点を探すために、エピポーラー幾何学的構造を適用させる（Ｓ６００）。
【００６１】
幾何学的三角法によって互いに対応される点の空間的な位置を決定する（Ｓ７００）。
【００６２】
もっと多いイメージを作るためには、Ｓ３００の段階からＳ７００の段階まで繰り返す。
【００６３】
図１６は本発明による獲得装置を用いて３次元距離情報を獲得する原理を図示した第１の構成図であり、図１７は本発明に従って獲得装置を用い、３次元距離情報を獲得する原理を図示した第２の構成図である。即ち、図１６及び図１７は２個のカメラ１１から得られた２個のイメージから３次元距離情報を抽出する原理を示す。球形座標Ｓ１、Ｓ２はカメラ１１のオプチカルセンターを各カメラ１１に対して設定し、球形座標の軸とカメラ１１の視覚軸とは同一直線上であり、各カメラ１１のマッピング対応テーブルは上記球形座標に対して校正される。
【００６４】
初期化された球形座標において、対をなした２個のカメラ１１間のエピポーラー平面は上記球形座標系の緯度線と同一平面でない。緯度線とエピポーラー平面とを同一平面に作るために、上記球形座標の回転がなされる。各点に対して回転関数を適用することにより球形座標系が回転され得る。以前の座標系の各点は新たな座標系に一対一に対応する。
【００６５】
図１７では各カメラに対して座標系が回転された新たな球形座標の設定を図示したが、座標系の中心は各カメラ１１のオプチカルセンターＣ１、Ｃ２とそれぞれ一致し、エピポーラー平面と緯度線などとは同一平面上に位置するようになっているが、この同一平面は各球形座標の０゜緯度線が同じ方向に配列されたものである。
【００６６】
図１８は本発明に従って獲得した球形イメージを２次元データ構造で表現するように緯度及び経度によって構成した構成図である。即ち、図１８は各球形イメージの２次元的な表現の一例を示す。ここで、Ｘ軸は経度を示し、Ｙ軸は緯度を示す。この表示で経度線はＹ軸に平行な直線として示される。
【００６７】
このような表示は迅速な計算のために、２次元配列で表現されることができる。同じエピポーラー線、即ち、緯度線はメモリーの連続されるブロックに貯蔵されて迅速に処理され得る。球形座標の回転が実行される時、本来の２次元配列上の各画素は回転された球形座標を表現する新たな２次元配列上の他の画素に対応される。
【００６８】
図１９は水平的な配列または位置調整として４個のカメラずつ２組から構成される多重カメラモジュールを用いて３Ｄデータを感知する原理を図示した第１の構成図である。
【００６９】
対象物２００のＡの３次元データを決定するために、カメラ１１のＳ１、Ｓ５が用いられた。上記各カメラ１１の球形座標はカメラ１１のＳ１、Ｓ５のオプチカルセンターを含む、それらの基線(Baseline)と整列されるために回転される。
【００７０】
対象物２００のＢの３次元データを決定するために、カメラ１１のＳ３、Ｓ７が用いられる。これらのカメラ１１の球形座標がカメラＳ３、Ｓ７のオプチカルセンターを含む基線と整列されるために回転される。
【００７１】
もし、対象物２００のＡが上記多重カメラモジュール１０に対して移動したら、その結果としてＡはＡ´位置に移動し、カメラ１１のＳ１の範囲を外れる。この場合、新たなカメラ１１の対であるＳ２とＳ５とは連続的な対象物２００トラッキングのために用いられることができる。これは、多重カメラモジュール１０からなった全方位性システムの新たな長所である。
【００７２】
図２０は垂直的な配列または位置調整として２層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図であり、２層をなす４こずつのカメラ１１からなった２組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。２個のカメラ１１間の基線及び距離は相対的に位置が固定されている。球形座標などはそれらの中心と各カメラ１１のオプチカルセンターとが同一であり、エピポーラー平面と緯度線とが同一平面上に位置するように設定される。このような座標系整列は緯度線がエピポーラー線となるため、エピポーラー線を探すのに有利な長所を有している。一方、対象物２００のＡに対する距離情報は２個の球形座標系間の対象物２００のＡに対する撮影角度の差異により計算され得る。
【００７３】
図２１は垂直的な配列または位置調節として３層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第３の構成図であり、４個ずつのカメラ１１からなった３組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。
【００７４】
距離計算方法は２個のカメラ１１の場合と同じであるが、３個のカメラ１１である場合、両端の基線距離は大きいか、或いは同じようにすることができるながらも、不一致量は比較的小さいため、対応点探し、即ち、獲得された各イメージ間での相互対応する点の探しがもっと正確になり得る。
【００７５】
カメラ１１の基線距離が小さくなるにつれて２個のイメージ間で距離計算をすることにおいて、もし、不一致量が少なくなると、上記のような対応点探しはもっと正確に施行されることができる。
【００７６】
しかし、カメラ１１の距離が短ければ、不一致量の対応点探しから発生される小さい誤差が相対的に大きい距離情報の誤差を誘発することになる。３組の多重カメラモジュール１０の配列は２組の多重カメラモジュール１０の配列に比べて同じ基線距離を維持する反面、２個の隣接したイメージ間の不一致部分が少ないため、対応点探しの正確性が増大される。
【００７７】
図２２は本発明により垂直的な配列または位置調整として６層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第４の構成図であり、４個ずつのカメラ１１からなった６組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。
【００７８】
多重カメラモジュール１０の個数が増加することにより、システムは近接したイメージの不一致量の増加無しに、最大基線距離を増加させることができる。また、カメラ１１からのイメージは対象物２００の距離を決定するのに用いられ得る対象物２００のオプチカルフローを生成する。
【００７９】
図２３乃至図２７はカメラの配列によって獲得されたオプチカルフローから３次元感知原理を図示した例示図などである。
【００８０】
図２３は本発明によりオプチカルフローを使用して３次元データ獲得を説明するための多重カメラモジュールのセッティング図である。即ち、図２３は上記原理を説明するための対象物２００とカメラ１１との代表的なセッティングを図示したものである。カメラ１１は一列に配置されて同一方向に向け、それらの各オプチカルセンターは同一な基線上に配列される。
【００８１】
図２４は本発明により上記多重カメラモジュールが対象物を撮影する時、対象物に対する特徴点を図示した例示図である。即ち、図２４は各カメラから対象物２００の特徴点に対する視線方向を図示したものである。例えば、カメラ１１のＡからＦまでの点ａの視線方向が右方から左方に漸次的に変化する。
【００８２】
図２５は本発明により上記多重カメラモジュールによって獲得されたイメージなどのオプチカルフローを図示した例示図である。即ち、図２５はカメラ１１のＡからＦまでによって撮影されたイメージなどでのオプチカルフローを図示したものである。カメラ１１のＡから撮影されたイメージとカメラ１１のＦから撮影されたイメージとはかなり異なるが、カメラ１１のＢ乃至Ｆから撮影された中間イメージはカメラ１１のＡからＦまで変化する対象物２００のオプチカルフローをみせてくれる。
【００８３】
図２６は本発明によりセット化された上記多重カメラモジュールと撮影された対象物との間のエピポーラー平面を図示した例示図である。即ち、図２６はカメラ１１配列に対する種々のエピポーラー平面を示す。
【００８４】
図２６に図示されたように、もし、各カメラ１１の球形座標が図２２に図示されたもののようにセッティングされたら、このエピポーラー平面は対応する緯度線と同一平面上にあることになる。対応点探しはエピポーラー線に沿ってなされ、このエピポーラー線は球形座標の緯度線となる。
【００８５】
図２７は本発明により上記多重カメラモジュールによるオプチカルフローと対象物の距離との関係をみせてくれる例示図である。即ち、図２７ではオプチカルフローと対象物２００の距離との関係をみせてくれるために、カメラ１１のＡからかめら１１のＦまでに撮影されたイメージからエピポーラー平面Ｍに対するオプチカルフローが図示された。
【００８６】
遠い対象物２００はＹ軸に対して緩やかな傾斜をなす反面、近い対象物２００はＹ軸に対して急な傾斜をなす。これは、また領域ａ、ｂによって点ｃ、ｄが部分的に遮られることになるのをみせてくれる。傾きの程度で対象物２００の距離を決定することができる。
【００８７】
図２８は本発明による全方位性３次元イメージデータ獲得装置の位置変化による、特徴点に対する３Ｄデータ獲得原理を図示した構成図である。即ち、図２８は移動する全方位性カメラシステムで３次元データ獲得原理を示す。例えば、移動される獲得装置１００は図示した３次元モデルリングのために空間情報を獲得するのに用いられることができる。このような上記獲得装置１００の移動は車輪回転数と運送手段との方向変化に従って決定され得る。移動しながら特徴点をトラッキングする獲得装置１００において、上記特徴点の位置は上記装置１００の位置変化と上記特徴点に対する視線角度変化などを三角法によって計算されることができる。また、トラッキングされる特徴点の空間位置は垂直に配列されたカメラ１１のイメージで不一致量によって決定され得る。このような重複された距離情報は３次元情報獲得の正確度を増加させるように作用する。
【００８８】
図２９は本発明による全方位性３次元イメージデータ獲得装置の移動撮影時、対象物に対するトラッキング原理を図示した例示図である。即ち、図２９は都市環境において３次元データ獲得の原理を示す。図示の構造物はほとんど垂直的な四角平面から構成され、線はほとんど垂直または水平である。
【００８９】
もし、四角平面が一つの位置として仮定されたら、これは、上記獲得装置１００の移動と共に追跡されることができる。上記四角平面を追跡することは、各特徴点を追跡することより迅速な方法である。一応、四角平面の位置と姿勢(Pose)が決定されたら、上記四角平面の位置と姿勢とは上記四角平面を含んで撮影された他のイメージなどに対して撮影する当時のカメラ１１の位置と姿勢情報とを知り出すのに用いられることができる。
【００９０】
以上でのような本発明による全方位性３次元イメージデータ獲得装置及び注釈記入による３次元データ獲得方法と感光範囲の拡大方法において、カメラモジュール１０を構成するカメラ１１は４個〜８個の範囲、或いはカメラ１１の大きさの小型化によって、その以上の個数から任意に選択して使用することができる。
【００９１】
合わせて、多重カメラモジュール１０の積層数（または積層に従って配列されるカメラ１１の数）は１層、或いはその以上に変更して使用することができる。
【図面の簡単な説明】
【００９２】
本発明のもっと深い理解のために提供され、本出願の構成と合致する、添付された図面などは本発明の実施例などを示し、本発明の要旨を説明するために、発明の詳細な説明と共に示される。
【００９３】
【図１】本発明の第１の実施例による全方位性３次元イメージデータ獲得装置の構成図。
【図２ａ】本発明による多重カメラモジュールの第１の構成図。
【図２ｂ】本発明による多重カメラモジュールの第２の構成図。
【図２ｃ】本発明による多重カメラモジュールの第３の構成図。
【図２ｄ】本発明による多重カメラモジュールの第４の構成図。
【図２ｅ】本発明による多重カメラモジュールの第５の構成図。
【図２ｆ】本発明による多重カメラモジュールの第６の構成図。
【図３】本発明の第２の実施例による獲得装置の構成図。
【図４】本発明による多重カメラモジュールがハウジングに装着された模様を図示した斜視図。
【図５】本発明による全方位性３次元イメージデータ獲得装置が移動手段に搭載された第１の構成図。
【図６】本発明による全方位性３次元イメージデータ獲得装置が移動手段に搭載された第２の構成図。
【図７】本発明による３次元イメージデータ獲得方法に関する順序図。
【図８】本発明による感光範囲の拡大方法を図示した構成図。
【図９】本発明による感光範囲の拡大方法に関する順序図。
【図１０】本発明による多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図。
【図１１】図１０の上部を図示した平面図。
【図１２】本発明による２層をなす多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図。
【図１３】本発明に従って円筒形映写によりパノラマイメージを生成する実施図。
【図１４】本発明に従って球形映写によりパノラマイメージを生成する実施図。
【図１５】本発明による獲得装置を用いて３次元のイメージを獲得する段階を図示した順序図。
【図１６】本発明による獲得装置を用いて３次元の距離情報を獲得する原理を図示した第１の構成図。
【図１７】本発明による獲得装置を用いて３次元の距離情報を獲得する原理を図示した第２の構成図。
【図１８】本発明に従って獲得した球形イメージを２次元データ構造として表現するように緯度及び経度によって構成した構成図。
【図１９】水平的な配列または位置調整として４個のカメラずつ２組から構成される多重カメラモジュールを用いて３Ｄデータを感知する原理を図示した第１の構成図。
【図２０】垂直的な配列または位置調整として２層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図。
【図２１】垂直的な配列または位置調整として３層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図。
【図２２】垂直的な配列または位置調整として６層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第４の構成図。
【図２３】オプチカルフローを有して３Ｄデータ獲得を説明するための多重カメラモジュールのセッティング図。
【図２４】上記多重カメラモジュールが対象物を撮影する時、対象物に対する特徴点を図示した例示図。
【図２５】上記多重カメラモジュールによって獲得されたイメージなどのオプチカルフロー(Optical Flow)を図示した例示図。
【図２６】セット化された上記多重カメラモジュールと撮影された対象物との間のエピポーラー平面を図示した例示図。
【図２７】上記多重カメラモジュールによるオプチカルフローと対象物の距離との関係をみせてくれる例示図。
【図２８】本発明による獲得装置の位置変化による特徴点に対する３Ｄデータ獲得原理を図示した構成図。
【図２９】本発明による獲得装置の移動撮影時、対象物に対するトラッキング原理を図示した例示図。
【０００１】
本発明は、イメージデータを獲得するための技術分野であって、より詳しくは、注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法に関するものである。
【０００２】
本出願は米国で２００１年 ２月 ９日に仮出願された、出願番号第60/267,761号の利益に対する権利を主張する。
【背景技術】
【０００３】
特定地点での人の視覚的な経験が記録され、再現されるための努力などが続けられてきた。全方位性写真は特定瞬間、一地点での視覚的な経験を再現するのに効果的な手段のうち一つである。このような全方位性写真は水平に３６０゜、垂直に１８０゜の領域までを記録することができ、写真撮影が実施された地点を中心として完全な球形の撮影領域を確保することができる。
【０００４】
しかし、人の視覚的な経験を記録及び再現するためには、全体球形領域を撮影するよりは、水平領域部分にもっと集中することがより効果的である。このような理由により、球形視覚領域の上側部と下側部とを省略したパノラマイメージも広く用いられてきた。
【０００５】
現在までの全方位性イメージ取得方法を分類すれば、次の通りである。
（ａ）非平面鏡とカメラとを用いて半球程度の視覚領域を確保しようとする方法。
（ｂ）多数個の平面鏡と多数個のカメラとを用いてもっと広い視覚領域を確保しようとする方法。
（ｃ）カメラを回転させて多数個のイメージを撮影し、撮影された各イメージを連結してパノラマイメージを生成させる方法。
（ｄ）ラインスキャンカメラを回転させて単一のパノラマイメージを生成させる方法(http://www.e-pan.com/index.html)。
（ｅ）互いに異なる視覚領域を担当する多数個のカメラを用いてもっと広い視覚領域を確保する方法（例えば、米国特許登録第5,023,725号）。
（ｆ）魚眼レンズを用いて半球程度の視覚領域を確保する方法（例えば、米国特許第5,185,667号）。
前記各方法には固有の長所と短所とがある。（ａ）の方法と（ｆ）の方法とは、特別に大きいセンサーを用いない限り、１個のカメラで広い視覚領域を確保しようとするため、画質が顕著に劣る問題点がある。（ｂ）の方法では、かなり大きいサイズの鏡を用いなくてはより広い縦方向の視覚領域を確保し難い問題点がある。（ｃ）の方法と（ｄ）の方法とは、カメラを回転させて全方位性イメージを獲得する方法であるため、まず、（ｃ）の方法は、カメラの回転時間に基づいて動く同一対象物に対しては撮影された上記対象物の位置が各イメージ別に互いに異なる問題点がある。そして、（ｄ）の方法では、動く対象物が歪曲されて現れる問題点がある。（ｅ）の方法は、幾台のカメラを用いて広い視覚領域を確保することになる。このような（ｅ）の方法では、各カメラの担当領域が比較的狭められることができるため、全体写真の画質は必要なだけ改善させることができる。
しかし、上記（ｅ）の方法を実現するための構造の装置が自動車のような移動手段に搭載されて撮影を行う場合には、各カメラの精密制御が容易でない問題点がある。
高速移動によるイメージ撮影時、切実に要求される精密制御として、第一に、写真撮影を行おうとする位置ですべてのカメラに対して精密に同期化されたトリガリングが容易でない問題点があり、第二には、互いに異なる方向に向けている各カメラに対して動きに基づいた映像ぼやけ現象がなく、適正露出程度を調整するのが難しい問題点がある。
【０００６】
本発明では、正確な位置でトリガー信号を精密に送出し、各カメラ別に適正露出程度を計算してゲイン、オフセット及び露出時間から構成された露出信号を各カメラに送出することにより、上記のような(ｅ）の方法での技術的な問題などを克服できる。所望の写真位置を精密に決定するために、本発明による装置は動く間、ＧＰＳセンサー、距離センサー及び方向センサーを用いて現在の位置を測定する。
【０００７】
合わせて、本発明は全方位性３次元情報取得及び感光範囲の拡大を具現することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従って、本発明は上記のような従来の問題点などに鑑みて案出されたものであって、本発明の第１の目的は、装置周辺の対象物に対する全方位性撮影がなされ得るし、カメラを積層してなされる構造として対象物を撮影し、３次元データを獲得できる注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
本発明の第２の目的は、積層された各カメラの露出程度を相違にして感光範囲の拡大を実現できる全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
本発明の第３の目的は、イメージに対する注釈記入により地理情報として用いられ、他の地理情報システムのデータベースと連動して活用できる注釈記入による３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
また、本発明の第４の目的は、カメラの積層構造に基づいて発生したイメージ処理アル
ゴリズムを用いて３次元データ獲得速度を高めることができる注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法を提供することである。
【課題を解決するための手段】
【０００９】
このような本発明の目的などは、一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含み、前記多重カメラモジュールが高さ方向に沿って積層されて高さ方向に少なくとも２層を形成する全方位性３次元イメージデータ獲得装置によって達成される。
ここで、前記露出量計算機が外部の光度に基づき、前記各カメラの露出量を計算できるように、前記露出量計算機に電気的に連結される複数個の光度感知センサーが更に備えられる。
上記装置のうち、貯蔵手段はハードディスク、コンパクトディスク、磁気テープ及びメモリーを含むデジタル貯蔵装置群から選択されるいずれか一つである。
合わせて、前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するオーディオクリップが更に添付され得るように、音声感知センサーから感知される音声信号をデジタル信号に変換するオーディオデジタル変換器が電気的に更に連結されることが望ましい。
また、前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するビデオクリップが更に添付され得るように、撮影された動映像をフレーム別に抽出する第２のフレーム抽出機を媒介にしてビデオカメラが電気的に更に連結されることが望ましい。
そして、前記多重カメラモジュールは上向き撮影が可能なように上部にカメラが更に備えられる。
ここで、前記全方位性３次元イメージ獲得装置には前記多重カメラモジュールの連続的なパノラマ撮影が可能なように、前記多重カメラモジュールを上部に搭載して移動する移動手段が更に含まれる。
そして、撮影された各イメージの距離及び方向情報を感知できるように距離感知センサー及び方向感知センサーが更に備えられる。
合わせて、本発明の目的などは、全方位の角度を分割し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラで高さ方向に沿って同一な対象物を撮影し、複数個のイメージを獲得する段階；前記各イメージから互いに対応する点を探し出す段階；幾何学的な三角法を用いて距離情報を抽出する段階；前記距離情報に基づいて３次元イメージを獲得する段階；を含む３次元データ獲得方法によって達成される。
また、本発明の目的などは、全方位の角度を分割し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラの露出程度を互いに異にして同一な対象物を撮影する段階；撮影された各イメージから一定した露出程度を有する部分を選択的に抽出する段階；抽出された各イメージを合成して感光範囲が拡大された最終イメージを獲得する段階；を含む感光範囲の拡大方法によって達成される。
なお、本発明の上記目的などは、一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；前記多重カメラモジュールを乗降させるように備えられる乗降器；前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含む全方位性３次元イメージデータ獲得装置によって達成される。
本発明のその他の目的、特定な長所など及び新規な特徴などは添付された図面などと連関される以下の詳細な説明と望ましい実施例などからもっと明らかになるだろう。
【発明の効果】
【００１０】
本発明による全方位性３次元イメージデータ獲得装置及び注釈記入による３次元データ獲得方法と感光範囲の拡大方法によると、全方位性撮影及び高さ方向に沿ってカメラを積層して撮影することにより、撮影対象物に対する３次元イメージを獲得することができ、この時、各カメラの露出程度を異にしてイメージに対する感光範囲の拡大を実現できる長所がある。
さらに、撮影されたイメージは撮影位置及び撮影時間に応じた注釈記入によって貯蔵され、情報の有効性を増大させることができ、これはその他の地理情報システムから生成された更に他の地理情報と連結され、地理情報システムと連動して活用され得る特徴がある。
合わせて、移動手段が備えられており、移動しながら連続的に撮影が可能である。
例え、本発明が以下で言及する望ましい実施例と関連して説明されたが、本発明の要旨と範囲から外れることなく、他の多様な修正及び変形が可能であるだろう。従って、添付された請求の範囲は本発明の真正な範囲内に属する、そのような修正及び変形を含むものであると思われる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施例に関して添付された図面と共に詳しく説明する。
【００１２】
図１は本発明の第１の実施例による上記獲得装置の構成図であり、図２ａから図２ｅまでは本発明による多重カメラモジュールが形態を異にして積層された模様を図示した構成図である。
【００１３】
図１及び図２ａ〜図２ｆのように、上記獲得装置１００は多重カメラモジュール１０と、上記多重カメラモジュール１０に電気的に連結されるコンピュータビジョンシステム３０を含んでなされる。
【００１４】
上記多重カメラモジュール１０は全方位の３６０゜撮影が可能なように複数個のカメラ１１を、一地点を中心として対称されるように配置して構成されたものである。
【００１５】
ここで、上記各多重カメラモジュール１０は高さ方向に積層する構造を取ることができ、これにより、同一な対象物を高さ方向に沿って複数個のカメラ１０を通じ、撮影して３次元イメージを獲得することができる。合わせて、積層された多重カメラモジュール１０の各カメラ１１の露出程度を異にして撮影が行われると、イメージに対する感光範囲(Dynamic Extension)の拡大が実現され得る。
【００１６】
そして、上記コンピュータビジョンシステム３０は各カメラ１１の撮影されたイメージをデジタルデータとして貯蔵するためのものである。上記多重カメラモジュール１０で撮影されたイメージはコンピュータビジョンシステム３０の第１のフレーム抽出機３１からフレーム別に抽出される。そして、注釈記入器３５で対応する撮影位置及び時間別に注釈を記入して貯蔵手段３２に貯蔵される。
【００１７】
このような上記獲得装置１００で上記多重カメラモジュール１０は、各カメラ１１のオプチカルセンターが同一平面上に位置するようにし、一地点を中心として相互対称されるように配置させてなされたものである。
【００１８】
この時、各カメラ１１は全方位、即ち、３６０゜撮影がパノラマ撮影技法で可能なように全方位角度を等分して担当することになる。例えば、上記多重カメラモジュール１０をなすカメラ１１が総４個または５個である場合、上記各カメラ１１は約９０゜或いは７２゜くらいほどの角度を等分して担当する。また、上記多重カメラモジュール１０の各カメラ１１が高さ方向に沿って相違した露出で撮影できるように複数個の多重カメラモジュール１０が積層される。このために、上記各多重カメラモジュール１０の各カメラ１１は高さ方向に沿って相互一直線上に配置される。
【００１９】
合わせて、上記多重カメラモジュール１０が積層配置されている場合、最上層の多重カメラモジュール１０には図２ｃ、２ｄ、２ｆのように、１個のカメラ１１が更に備えられる。ここで、上記多重カメラモジュール１０の上層に設けられたカメラ１１は撮影方向を上向きにして設けられることにより、全方位はもちろん、上向き撮影も可能である。
【００２０】
上記のように記述した多重カメラモジュール１０で各カメラ１１が撮影したイメージは第１のフレーム抽出機３１からフレーム別に抽出される。この時、上記第１のフレーム抽出機３１は１個の多重カメラモジュール１０を１個のレーヤ(Layer)と見なす場合、各レーヤをなす各カメラ１１別に個別連結されている。
【００２１】
上記各第１のフレーム抽出機３１から抽出されたフレーム別イメージは貯蔵手段３２に貯蔵されると共に、上記第１のフレーム抽出機３１に電気的に連結された露出量計算機３３に送達される。上記貯蔵手段３２は撮影されたイメージをデジタルデータに貯蔵するものであって、ハードディスク、コンパクトディスク、磁気テープ、メモリーなどのようなデジタル貯蔵装置から択一して使用することができる。
【００２２】
合わせて、上記第１のフレーム抽出機３１から上記露出量計算機３３に伝達されたイメージは上記露出量計算機３３により分析され、これを通じて各カメラ１１の露出量が計算される。計算された露出量は上記露出量計算機３３に電気的に連結された露出信号発生器３４に送達される。そして、上記露出信号発生器３４は上記露出量に基づき、各カメラ１１が露出すべき露出程度を信号として上記各カメラ１１に送出する。この時、上記各カメラ１１の撮影位置及び時間、距離、方向などのような一種の地理情報は、衛星から位置情報を実施間で収集できるＧＰＳセンサー２０を通じて得ることができる。
【００２３】
上記ＧＰＳセンサー２０の他に、距離感知センサー３７ａ及び方向感知センサー３７ｂが更に備えられて撮影距離及び撮影方向を得ることができる。ここで、上記ＧＰＳセンサー２０は衛星から実施間で位置データを伝送されて位置情報を実施間で確認することができるが、撮影中、高層ビルとかトンネル、林などのように、ＧＰＳ信号の受信が妨害を受ける地域に至ることになると、衛星からのＧＰＳ信号が遮断されることがある。
【００２４】
このように、ＧＰＳ信号の有効性が顕著に劣ることになると、上記距離感知センサー３７ａ及び方向感知センサー３７ｂの感知信号が二次的な情報として活用される。
【００２５】
合わせて、上記ＧＰＳセンサー２０、距離感知センサー３７ａ及び方向感知センサー３７ｂに注釈記入器３５が電気的に連結され、上記各センサー２０、３７ａ、３７ｂから感知された地理情報データを受信する。そうしたら、上記注釈記入器３５は受信を受けた上記地理情報データに基づき、上記貯蔵手段３２に貯蔵される上記各フレームに対応する注釈を記入することになる。上記注釈は撮影されたイメージの各フレーム別の撮影位置、方向及び撮影時間であって、上記イメージはフレーム別にこのような注釈が記入されて上記貯蔵手段３２に貯蔵される。この時、上記貯蔵手段３２で上記カメラ１１が撮影をする段階と、イメージが貯蔵される段階とが相互順次的、或いは同時並行で進行されることができる。そして、これに関連された各センサー２０、３７ａ、３７ｂの感知動作及びカメラ１１に対する露出情報の計算及び交流などのような一連の動作などもやはり、連動して進行される必要がある。
【００２６】
各撮影及び貯蔵段階などと、これに関係された動作などの進行は、トリガー信号発生器３６が露出信号発生器３４にトリガー信号を送出するところから開示される。
【００２７】
上記トリガー信号発生器３６は上記距離感知センサー３７ａ及び注釈記入器３５の間に電気的に連結される。
【００２８】
この時、上記ＧＰＳセンサー２０から上記注釈記入器３５に伝達される注釈写真及び時間、地理情報が先に活用される。
【００２９】
以後、もし、上記ＧＰＳセンサー２０の有効性が低下されたら、二次的に上記距離感知センサー３７ａの感知信号が上記注釈記入器３５で活用される。
【００３０】
この時、上記貯蔵手段３２でのイメージ貯蔵速度が上記イメージの獲得速度に比べてずっと遅くなると、イメージ貯蔵動作がイメージ獲得動作を乗り越えるために、トリガー信号は一時遮断されることがある。
【００３１】
一方、上記貯蔵手段３２には貯蔵される各イメージまたはイメージグループに対応するオーディオクリップまたはビデオクリップが補助資料として更に添付され得るように、オーディオデジタル変換器３８またはビデオカメラ３９が電気的に更に連結される。上記オーディオデジタル変換器３８は音声感知センサー３８ａから感知されるアナログ音声信号をデジタル信号に変換して上記貯蔵手段３２にデジタルデータとして貯蔵する。そして、上記ビデオカメラ３９は撮影位置または撮影区間で撮影されたイメージまたはイメージグループに対応して周辺対象物２００を動映像として撮影することになり、撮影された動映像は第２のフレーム抽出機３９ａからフレーム別に抽出して上記貯蔵手段３２に貯蔵される。
【００３２】
図３は本発明の第２の実施例による全方位性３次元イメージデータ獲得装置の構成図である。
【００３３】
図３に図示されたように、露出信号計算機３３は各カメラ１１の露出程度を計算する。そして、計算された露出情報は露出信号発生器３４によって上記各カメラ１１に送信される。この時、上記露出信号計算機３３には撮影位置の周辺または対象物２００の前面での光度を感知できるように光度感知センサー３３ａが電気的に更に連結される。
【００３４】
従って、上記光度感知センサー３３ａから感知されて伝送される光度感知信号は上記露出量計算機３３に送信され、上記露出量計算機３３によってカメラ１１の露出量を計算することになる。計算された露出量は露出信号発生器３４を通じて信号として各カメラ１１に伝送され、各カメラ１１は露出信号に基づいて露出程度を調節することになる。
【００３５】
図４は本発明による多重カメラモジュールがハウジングに装着された模様を図示した斜視図であって、図５は上記獲得装置が移動手段に搭載された第１の構成図であり、図６は上記獲得装置が移動手段に搭載された第２の構成図である。
【００３６】
図４乃至図６に図示されたように、上記多重カメラモジュール１０及びコンピュータビジョンシステム３０はモバイール機能が付与されるように移動手段６０に搭載されて移動しながら周辺対象物２００を撮影することができる。上記多重カメラモジュール１０は胴体部位は保護し、レンズ部位のみが外部へ露出され得るように一定したハウジング４０内に装着される。そして、上記ハウジング４０の下部はジグ５０によって支持されながら、一定高さで離隔され、上記移動手段６０に設けられた乗降器７０によって上下に乗降される。移動手段６０は駆動エンジンが装着される自動車、或いは移動されることができる車であることが望ましい。もし、道路で移動しながら撮影する場合には上記自動車を使用し、人道や廊下で移動しながら撮影する場合には車を使用する。
【００３７】
図７は本発明による３次元データの獲得方法に関する順序図である。
【００３８】
図７に図示されたように、まず、多数個のカメラ１１を、一地点を中心として相互対称されながらオプチカルセンターが同一平面上に位置するように配置して多重カメラモジュール１０を構成することにおいて、構成された上記多重カメラモジュール１０を高さ方向に沿って積層する。上記各多重カメラモジュール１０で高さ方向に沿ってオプチカルセンターが一列に配置された各カメラ１１で一定位置にある同一な対象物２００を撮影する。そうすると、各カメラ１１は同一な対象物を撮影するが、撮影された複数個のイメージは互いに異なる位置で撮影されたため、イメージ上の対象物２００の位置が相違することになる（Ｓ１１００）。合わせて、上記各イメージで互いに対応する点を探し出す（Ｓ１２００）。そして、幾何学的三角法を用いて各点の距離を測定することにより、全般的な距離情報を抽出する（Ｓ１３００）。抽出された距離情報に基づいて明暗関係がはっきりした３次元イメージを獲得する（Ｓ１４００）。
【００３９】
図８は本発明により撮影されたイメージを有するカメラシステムの感光範囲の拡大方法に関する構成図である。
【００４０】
図８に図示されたように、垂直に積層された３組の多重カメラモジュール１０でそれぞれ相違した露出として同一な対象物２００を３個のイメージで撮影した。
【００４１】
各カメラ１１は対象物２００が感光範囲の上位限界水準より明るければ、白色のように最大明るさとして記録され、対象物２００が感光範囲の下位限界水準より暗ければ、黒色のように最小の明るさとして記録される。両方の場合、すべてイメージ領域の詳細な部分は損失される。もし、積層されたカメラ１１が異なった露出で同じ対象物２００を記録したら、対象物２００の明るさがある一つのカメラ１１の感光範囲を超過しても他のカメラ１１は感光範囲内にあることができる。露出を異にした各カメラ１１は感光範囲が異なるので、それぞれ対象物２００の詳細な部分を撮ることができる領域が異なることになる。これにより、感光範囲が異なるカメラ１１で撮ったイメージを合成してもっと良いイメージを作られることになる。
【００４２】
図９は本発明による感光範囲の拡大方法に関する順序図である。
【００４３】
図９に図示されたように、感光範囲の拡大方法を拡大するために、高さ方向に沿って３組の多重カメラモジュール１０を積層する。上記多重カメラモジュール１０は全方位の角度を等分し、個別的に担当する各カメラ１１が一地点を中心として相互対称されるように配列されてなされる構造である。さらに、各カメラ１１の視野角は複数のカメラ１１により３６０を分割するように配置される。
【００４４】
以後、上記各多重カメラモジュール１０をなす各カメラ１１の露出程度を互いに異にする。そして、一定位置にある一つの対象物２００を撮影して同一な対象物２００を撮影した複数個のイメージを獲得する（Ｓ２１００）。
【００４５】
次に、撮影された各イメージから適正な露出程度を有する部分を選択的に抽出する。この時、露出程度の選択は肉眼で識別するのに視覚的に一番はっきりと撮影されたものを選択する（Ｓ２２００）。
【００４６】
最後に抽出されたイメージを合成して感光範囲が拡大された最終イメージを獲得する（Ｓ２３００）。
【００４７】
上記において、多重カメラモジュール１０の組数は３組の他に、２組以上であれば感光範囲の拡大が可能である。
【００４８】
図１０は本発明による多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図である。
【００４９】
複数個のカメラ１１から構成された広角、或いは多重カメラモジュール１０は数個のオプチカルセンターを同時に持つことができる。各カメラ１１は個別的にオプチカルセンターと球形座標の一部分を担当することになる有効撮影角度を有することになる。各カメラ１１が担当する有効撮影角度に局限して全方位性イメージセンサーは単一のオプチカルセンターを有するといえる。本例示図では４個の個別的な球形座標が初期化されて設定及び補正された。例え、本例示図では４個のカメラ１１が図示されたが、本発明の方法の範囲を修正することなく、カメラ１１の個数を任意に選択して使用することができる。このような球形座標系はエピポーラー(Epipolar)幾何学的構造をもう少し効果的に適用するために、対をなした一組のカメラ１１に対して整列されるように任意の方向に回転させることができる。
【００５０】
図１１は図１０の上部を図示した平面図である。
【００５１】
このような実施例において、１２０゜の有効撮影角度を有する４台のカメラ１１が相互近接したカメラ１１と重なる部分を有し、全方位の３６０゜までを担当することができる。
【００５２】
図１２は本発明による２層をなす多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図である。
【００５３】
高さ方向に沿った整列で人の自然的な視覚方向である水平方向に対して３次元距離(Depth)情報を含んだ３６０゜パノラマイメージを取得するのに有利である。球形座標は高さ方向に沿った各多重カメラモジュール１０の２台のカメラ１１が持っている各オプチカルセンターを連結する線と、その軸とが一致されるように整列される。球形座標の設定は２個のイメージ間の対応点(Feature point)を探すために、エピポーラー幾何学的構造を適用するのに有利である。この時、２台のカメラ１１から獲得された２個のイメージに対するエピポーラー線が上記球形座標の経線となる。
【００５４】
図１３は本発明に従って円筒形映写によりパノラマイメージを生成する実施図であり、図１４は本発明に従って球形映写によりパノラマイメージを生成する実施図である。即ち、図１３及び図１４は六角形のイメージから円筒形映写物または球形映写物の代表的なパノラマイメージ生成をみせてくれる。生成された円筒形または球形イメージは使用者に提示される前に、円筒または球の表面に対応され、使用者がコンピュータモニター上の観察ソフトウェアのウィンドーを介して円筒または球の表面に観察されるように提示される。図１３の点線は各カメラ１１の投影領域を示す。
【００５５】
図１５は本発明による全方位性３次元イメージデータ獲得装置を用いて３次元の距離データを獲得する段階を図示した順序図である。即ち、図１５は球形座標系の設定とエピポーラー幾何学構造とを適用して３次元データを抽出する段階である。このような方法はまず、球形座標は球形座標の中心がカメラ１１のオプチカルセンターに固定され、球形座標の軸とオプチカルセンターの軸とが直線上にあるように設定する段階（Ｓ１００）を含む。
【００５６】
そして、マッピングテーブル(Mapping Table)、或いは球形座標上の点とカメラ１１のイメージ平面上の点との間のマッピング関数を実験的とか数学的な校正により発見する（Ｓ２００）。
【００５７】
２個のイメージ獲得位置間の小さい視覚差異を有する同一場面に対する２個の２次元イメージを獲得する（Ｓ３００）。
【００５８】
マッピングテーブル、或いはマッピング関数を用いて２個の球の表面（または球を表現するデータ構造）に上記２個の２次元イメージを対応させる（Ｓ４００）。
【００５９】
球形座標系の軸と対をなした２台のカメラ１１のオプチカルセンターを連結する線が相互一致され、２個の球形座標の緯度線０゜が同じ方向になるように上記球形座標系を回転させる（Ｓ５００）。
【００６０】
合わせて、上記２個のイメージ間から対応する点を探すために、エピポーラー幾何学的構造を適用させる（Ｓ６００）。
【００６１】
幾何学的三角法によって互いに対応される点の空間的な位置を決定する（Ｓ７００）。
【００６２】
もっと多いイメージを作るためには、Ｓ３００の段階からＳ７００の段階まで繰り返す。
【００６３】
図１６は本発明による獲得装置を用いて３次元距離情報を獲得する原理を図示した第１の構成図であり、図１７は本発明に従って獲得装置を用い、３次元距離情報を獲得する原理を図示した第２の構成図である。即ち、図１６及び図１７は２個のカメラ１１から得られた２個のイメージから３次元距離情報を抽出する原理を示す。球形座標Ｓ１、Ｓ２はカメラ１１のオプチカルセンターを各カメラ１１に対して設定し、球形座標の軸とカメラ１１の視覚軸とは同一直線上であり、各カメラ１１のマッピング対応テーブルは上記球形座標に対して校正される。
【００６４】
初期化された球形座標において、対をなした２個のカメラ１１間のエピポーラー平面は上記球形座標系の緯度線と同一平面でない。緯度線とエピポーラー平面とを同一平面に作るために、上記球形座標の回転がなされる。各点に対して回転関数を適用することにより球形座標系が回転され得る。以前の座標系の各点は新たな座標系に一対一に対応する。
【００６５】
図１７では各カメラに対して座標系が回転された新たな球形座標の設定を図示したが、座標系の中心は各カメラ１１のオプチカルセンターＣ１、Ｃ２とそれぞれ一致し、エピポーラー平面と緯度線などとは同一平面上に位置するようになっているが、この同一平面は各球形座標の０゜緯度線が同じ方向に配列されたものである。
【００６６】
図１８は本発明に従って獲得した球形イメージを２次元データ構造で表現するように緯度及び経度によって構成した構成図である。即ち、図１８は各球形イメージの２次元的な表現の一例を示す。ここで、Ｘ軸は経度を示し、Ｙ軸は緯度を示す。この表示で経度線はＹ軸に平行な直線として示される。
【００６７】
このような表示は迅速な計算のために、２次元配列で表現されることができる。同じエピポーラー線、即ち、緯度線はメモリーの連続されるブロックに貯蔵されて迅速に処理され得る。球形座標の回転が実行される時、本来の２次元配列上の各画素は回転された球形座標を表現する新たな２次元配列上の他の画素に対応される。
【００６８】
図１９は水平的な配列または位置調整として４個のカメラずつ２組から構成される多重カメラモジュールを用いて３Ｄデータを感知する原理を図示した第１の構成図である。
【００６９】
対象物２００のＡの３次元データを決定するために、カメラ１１のＳ１、Ｓ５が用いられた。上記各カメラ１１の球形座標はカメラ１１のＳ１、Ｓ５のオプチカルセンターを含む、それらの基線(Baseline)と整列されるために回転される。
【００７０】
対象物２００のＢの３次元データを決定するために、カメラ１１のＳ３、Ｓ７が用いられる。これらのカメラ１１の球形座標がカメラＳ３、Ｓ７のオプチカルセンターを含む基線と整列されるために回転される。
【００７１】
もし、対象物２００のＡが上記多重カメラモジュール１０に対して移動したら、その結果としてＡはＡ´位置に移動し、カメラ１１のＳ１の範囲を外れる。この場合、新たなカメラ１１の対であるＳ２とＳ５とは連続的な対象物２００トラッキングのために用いられることができる。これは、多重カメラモジュール１０からなった全方位性システムの新たな長所である。
【００７２】
図２０は垂直的な配列または位置調整として２層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図であり、２層をなす４こずつのカメラ１１からなった２組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。２個のカメラ１１間の基線及び距離は相対的に位置が固定されている。球形座標などはそれらの中心と各カメラ１１のオプチカルセンターとが同一であり、エピポーラー平面と緯度線とが同一平面上に位置するように設定される。このような座標系整列は緯度線がエピポーラー線となるため、エピポーラー線を探すのに有利な長所を有している。一方、対象物２００のＡに対する距離情報は２個の球形座標系間の対象物２００のＡに対する撮影角度の差異により計算され得る。
【００７３】
図２１は垂直的な配列または位置調節として３層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第３の構成図であり、４個ずつのカメラ１１からなった３組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。
【００７４】
距離計算方法は２個のカメラ１１の場合と同じであるが、３個のカメラ１１である場合、両端の基線距離は大きいか、或いは同じようにすることができるながらも、不一致量は比較的小さいため、対応点探し、即ち、獲得された各イメージ間での相互対応する点の探しがもっと正確になり得る。
【００７５】
カメラ１１の基線距離が小さくなるにつれて２個のイメージ間で距離計算をすることにおいて、もし、不一致量が少なくなると、上記のような対応点探しはもっと正確に施行されることができる。
【００７６】
しかし、カメラ１１の距離が短ければ、不一致量の対応点探しから発生される小さい誤差が相対的に大きい距離情報の誤差を誘発することになる。３組の多重カメラモジュール１０の配列は２組の多重カメラモジュール１０の配列に比べて同じ基線距離を維持する反面、２個の隣接したイメージ間の不一致部分が少ないため、対応点探しの正確性が増大される。
【００７７】
図２２は本発明により垂直的な配列または位置調整として６層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第４の構成図であり、４個ずつのカメラ１１からなった６組の多重カメラモジュール１０から構成された全方位性カメラシステムの代表的な実施例である。
【００７８】
多重カメラモジュール１０の個数が増加することにより、システムは近接したイメージの不一致量の増加無しに、最大基線距離を増加させることができる。また、カメラ１１からのイメージは対象物２００の距離を決定するのに用いられ得る対象物２００のオプチカルフローを生成する。
【００７９】
図２３乃至図２７はカメラの配列によって獲得されたオプチカルフローから３次元感知原理を図示した例示図などである。
【００８０】
図２３は本発明によりオプチカルフローを使用して３次元データ獲得を説明するための多重カメラモジュールのセッティング図である。即ち、図２３は上記原理を説明するための対象物２００とカメラ１１との代表的なセッティングを図示したものである。カメラ１１は一列に配置されて同一方向に向け、それらの各オプチカルセンターは同一な基線上に配列される。
【００８１】
図２４は本発明により上記多重カメラモジュールが対象物を撮影する時、対象物に対する特徴点を図示した例示図である。即ち、図２４は各カメラから対象物２００の特徴点に対する視線方向を図示したものである。例えば、カメラ１１のＡからＦまでの点ａの視線方向が右方から左方に漸次的に変化する。
【００８２】
図２５は本発明により上記多重カメラモジュールによって獲得されたイメージなどのオプチカルフローを図示した例示図である。即ち、図２５はカメラ１１のＡからＦまでによって撮影されたイメージなどでのオプチカルフローを図示したものである。カメラ１１のＡから撮影されたイメージとカメラ１１のＦから撮影されたイメージとはかなり異なるが、カメラ１１のＢ乃至Ｆから撮影された中間イメージはカメラ１１のＡからＦまで変化する対象物２００のオプチカルフローをみせてくれる。
【００８３】
図２６は本発明によりセット化された上記多重カメラモジュールと撮影された対象物との間のエピポーラー平面を図示した例示図である。即ち、図２６はカメラ１１配列に対する種々のエピポーラー平面を示す。
【００８４】
図２６に図示されたように、もし、各カメラ１１の球形座標が図２２に図示されたもののようにセッティングされたら、このエピポーラー平面は対応する緯度線と同一平面上にあることになる。対応点探しはエピポーラー線に沿ってなされ、このエピポーラー線は球形座標の緯度線となる。
【００８５】
図２７は本発明により上記多重カメラモジュールによるオプチカルフローと対象物の距離との関係をみせてくれる例示図である。即ち、図２７ではオプチカルフローと対象物２００の距離との関係をみせてくれるために、カメラ１１のＡからかめら１１のＦまでに撮影されたイメージからエピポーラー平面Ｍに対するオプチカルフローが図示された。
【００８６】
遠い対象物２００はＹ軸に対して緩やかな傾斜をなす反面、近い対象物２００はＹ軸に対して急な傾斜をなす。これは、また領域ａ、ｂによって点ｃ、ｄが部分的に遮られることになるのをみせてくれる。傾きの程度で対象物２００の距離を決定することができる。
【００８７】
図２８は本発明による全方位性３次元イメージデータ獲得装置の位置変化による、特徴点に対する３Ｄデータ獲得原理を図示した構成図である。即ち、図２８は移動する全方位性カメラシステムで３次元データ獲得原理を示す。例えば、移動される獲得装置１００は図示した３次元モデルリングのために空間情報を獲得するのに用いられることができる。このような上記獲得装置１００の移動は車輪回転数と運送手段との方向変化に従って決定され得る。移動しながら特徴点をトラッキングする獲得装置１００において、上記特徴点の位置は上記装置１００の位置変化と上記特徴点に対する視線角度変化などを三角法によって計算されることができる。また、トラッキングされる特徴点の空間位置は垂直に配列されたカメラ１１のイメージで不一致量によって決定され得る。このような重複された距離情報は３次元情報獲得の正確度を増加させるように作用する。
【００８８】
図２９は本発明による全方位性３次元イメージデータ獲得装置の移動撮影時、対象物に対するトラッキング原理を図示した例示図である。即ち、図２９は都市環境において３次元データ獲得の原理を示す。図示の構造物はほとんど垂直的な四角平面から構成され、線はほとんど垂直または水平である。
【００８９】
もし、四角平面が一つの位置として仮定されたら、これは、上記獲得装置１００の移動と共に追跡されることができる。上記四角平面を追跡することは、各特徴点を追跡することより迅速な方法である。一応、四角平面の位置と姿勢(Pose)が決定されたら、上記四角平面の位置と姿勢とは上記四角平面を含んで撮影された他のイメージなどに対して撮影する当時のカメラ１１の位置と姿勢情報とを知り出すのに用いられることができる。
【００９０】
以上でのような本発明による全方位性３次元イメージデータ獲得装置及び注釈記入による３次元データ獲得方法と感光範囲の拡大方法において、カメラモジュール１０を構成するカメラ１１は４個〜８個の範囲、或いはカメラ１１の大きさの小型化によって、その以上の個数から任意に選択して使用することができる。
【００９１】
合わせて、多重カメラモジュール１０の積層数（または積層に従って配列されるカメラ１１の数）は１層、或いはその以上に変更して使用することができる。
【図面の簡単な説明】
【００９２】
本発明のもっと深い理解のために提供され、本出願の構成と合致する、添付された図面などは本発明の実施例などを示し、本発明の要旨を説明するために、発明の詳細な説明と共に示される。
【００９３】
【図１】本発明の第１の実施例による全方位性３次元イメージデータ獲得装置の構成図。
【図２ａ】本発明による多重カメラモジュールの第１の構成図。
【図２ｂ】本発明による多重カメラモジュールの第２の構成図。
【図２ｃ】本発明による多重カメラモジュールの第３の構成図。
【図２ｄ】本発明による多重カメラモジュールの第４の構成図。
【図２ｅ】本発明による多重カメラモジュールの第５の構成図。
【図２ｆ】本発明による多重カメラモジュールの第６の構成図。
【図３】本発明の第２の実施例による獲得装置の構成図。
【図４】本発明による多重カメラモジュールがハウジングに装着された模様を図示した斜視図。
【図５】本発明による全方位性３次元イメージデータ獲得装置が移動手段に搭載された第１の構成図。
【図６】本発明による全方位性３次元イメージデータ獲得装置が移動手段に搭載された第２の構成図。
【図７】本発明による３次元イメージデータ獲得方法に関する順序図。
【図８】本発明による感光範囲の拡大方法を図示した構成図。
【図９】本発明による感光範囲の拡大方法に関する順序図。
【図１０】本発明による多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図。
【図１１】図１０の上部を図示した平面図。
【図１２】本発明による２層をなす多重カメラモジュールのイメージ処理アルゴリズムの適用のために設定された球座標系を図示した斜視図。
【図１３】本発明に従って円筒形映写によりパノラマイメージを生成する実施図。
【図１４】本発明に従って球形映写によりパノラマイメージを生成する実施図。
【図１５】本発明による獲得装置を用いて３次元のイメージを獲得する段階を図示した順序図。
【図１６】本発明による獲得装置を用いて３次元の距離情報を獲得する原理を図示した第１の構成図。
【図１７】本発明による獲得装置を用いて３次元の距離情報を獲得する原理を図示した第２の構成図。
【図１８】本発明に従って獲得した球形イメージを２次元データ構造として表現するように緯度及び経度によって構成した構成図。
【図１９】水平的な配列または位置調整として４個のカメラずつ２組から構成される多重カメラモジュールを用いて３Ｄデータを感知する原理を図示した第１の構成図。
【図２０】垂直的な配列または位置調整として２層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図。
【図２１】垂直的な配列または位置調整として３層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第２の構成図。
【図２２】垂直的な配列または位置調整として６層をなす多重カメラモジュールで３Ｄデータを感知する原理を図示した第４の構成図。
【図２３】オプチカルフローを有して３Ｄデータ獲得を説明するための多重カメラモジュールのセッティング図。
【図２４】上記多重カメラモジュールが対象物を撮影する時、対象物に対する特徴点を図示した例示図。
【図２５】上記多重カメラモジュールによって獲得されたイメージなどのオプチカルフロー(Optical Flow)を図示した例示図。
【図２６】セット化された上記多重カメラモジュールと撮影された対象物との間のエピポーラー平面を図示した例示図。
【図２７】上記多重カメラモジュールによるオプチカルフローと対象物の距離との関係をみせてくれる例示図。
【図２８】本発明による獲得装置の位置変化による特徴点に対する３Ｄデータ獲得原理を図示した構成図。
【図２９】本発明による獲得装置の移動撮影時、対象物に対するトラッキング原理を図示した例示図。
Claims (11)
- 一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；
前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；
前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；
前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；
前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；
前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；
前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び
前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含み、
前記多重カメラモジュールが高さ方向に沿って積層されて高さ方向に少なくとも２層を形成する全方位性３次元イメージデータ獲得装置。 - 前記露出量計算機が外部の光度に基づき、前記各カメラの露出量を計算できるように前記露出量計算機に電気的に連結される複数個の光度感知センサーが更に備えられる請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記貯蔵手段はハードディスク、コンパクトディスク、磁気テープ及びメモリーを含むデジタル貯蔵装置群から選択されるいずれか一つである請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するオーディオクリップが更に添付され得るように、音声感知センサーから感知される音声信号をデジタル信号に変換するオーディオデジタル変換器が電気的に更に連結される請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記貯蔵手段には貯蔵される各イメージまたはイメージグループに対応するビデオクリップが更に添付され得るように、撮影された動映像をフレーム別に抽出する第２のフレーム抽出機を媒介にしてビデオカメラが電気的に更に連結される請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記多重カメラモジュールは上向き撮影が可能なように上部にカメラが更に備えられる請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記全方位性３次元イメージ獲得装置には前記多重カメラモジュールの連続的なパノラマ撮影が可能なように、前記多重カメラモジュールを上部に搭載して移動する移動手段が更に含まれる請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 前記各カメラから撮影された各イメージの距離及び方向を感知するための距離感知センサー及び方向感知センサーが更に備えられる請求項１に記載の全方位性３次元イメージデータ獲得装置。
- 全方位の角度を分割して個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラで高さ方向に沿って同一な対象物を撮影し、複数個のイメージを獲得する段階；
前記各イメージから互いに対応する点を探し出す段階；
幾何学的な三角法を用いて距離情報を抽出する段階；及び
前記距離情報に基づいて３次元イメージを獲得する段階；を含む３次元データ獲得方法。 - 全方位の角度を分割して個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュールの、前記各カメラの露出程度を互いに異にして同一な対象物を撮影する段階；
撮影された各イメージから一定した露出程度を有する部分を選択的に抽出する段階；及び
抽出された各イメージを合成して感光範囲が拡大された最終イメージを獲得する段階；を含む感光範囲の拡大方法。 - 一地点を中心として周辺対象物に対する全方位の連続的なパノラマ撮影が可能なように角度を等分し、個別的に担当する各カメラが一地点を中心として相互対称されるように配列されてなされる多重カメラモジュール；
前記多重カメラモジュールを乗降させるように備えられる乗降器；
前記多重カメラモジュール別の各カメラに電気的に連結され、撮影イメージをフレーム別に抽出する第１のフレーム抽出機；
前記第１のフレーム抽出機に電気的に連結され、抽出されたフレーム別イメージに基づいて前記各カメラの露出量を計算する露出量計算機；
前記露出量計算機の計算された露出量に基づき、露出量に対する情報を信号として送信するように前記各カメラに電気的に連結される露出信号発生器；
前記各第１のフレーム抽出機に電気的に連結され、前記各カメラの撮影イメージを位置及び時間によって貯蔵する貯蔵手段；
前記各カメラの撮影位置を感知し、撮影時間をデータとして記録するＧＰＳセンサー；
前記ＧＰＳセンサーに電気的に連結され、感知されたデータに基づいて前記各フレームに対応する位置及び時間を計算し、前記貯蔵手段に電気的に連結され、計算された位置及び時間を前記各フレームに注釈として記入する注釈記入器；及び
前記貯蔵手段及び露出信号発生器の間に電気的に連結され、前記注釈記入器の間に電気的に連結されてイメージ撮影が開示され得るようにトリガー信号を選択的に前記露出信号発生器及び注釈記入器に送信するトリガー信号発生器；を含む全方位性３次元イメージデータ獲得装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US26776101P | 2001-02-09 | 2001-02-09 | |
| PCT/KR2002/000223 WO2002065786A1 (en) | 2001-02-09 | 2002-02-09 | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004531113A true JP2004531113A (ja) | 2004-10-07 |
Family
ID=23020026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002565367A Pending JP2004531113A (ja) | 2001-02-09 | 2002-02-09 | 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2004531113A (ja) |
| KR (1) | KR100591144B1 (ja) |
| CN (1) | CN1531826A (ja) |
| WO (1) | WO2002065786A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217222A (ja) * | 2005-02-03 | 2006-08-17 | Nagoya City | パノラマ映像作成方法と作成装置 |
| JP2007525054A (ja) * | 2003-06-03 | 2007-08-30 | スチュアート，レオナード，ピー．，Ｉｉｉ | ディジタル３ｄ／３６０度カメラシステム |
| WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
| JP2014115374A (ja) * | 2012-12-07 | 2014-06-26 | Topcon Corp | 全方位カメラ |
| WO2017149875A1 (ja) * | 2016-02-29 | 2017-09-08 | ソニー株式会社 | 撮像制御装置、撮像装置及び撮像制御方法 |
| KR101843025B1 (ko) | 2016-12-30 | 2018-03-28 | (주)잼투고 | 카메라워크 기반 영상합성 시스템 및 영상합성방법 |
| JP2019516295A (ja) * | 2016-04-06 | 2019-06-13 | フェイスブック，インク． | ３次元３６０度バーチャルリアリティカメラの露出制御 |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003220595A1 (en) * | 2002-03-27 | 2003-10-13 | The Trustees Of Columbia University In The City Of New York | Imaging method and system |
| WO2004015374A1 (en) * | 2002-08-09 | 2004-02-19 | Surveylab Group Limited | Mobile instrument, viewing device, and methods of processing and storing information |
| US20040100565A1 (en) * | 2002-11-22 | 2004-05-27 | Eastman Kodak Company | Method and system for generating images used in extended range panorama composition |
| EP1683346A1 (en) * | 2003-10-28 | 2006-07-26 | Koninklijke Philips Electronics N.V. | Digital camera with panorama or mosaic functionality |
| WO2007124664A1 (fr) * | 2006-04-29 | 2007-11-08 | Shanghai Jietu Software Co., Ltd. | Appareil et procédé permettant d'obtenir une représentation panoramique contenant des informations de position et procédé de création, d'annotation et d'affichage d'un service de cartographie électrique panoramique |
| US8341112B2 (en) * | 2006-05-19 | 2012-12-25 | Microsoft Corporation | Annotation by search |
| JP4942177B2 (ja) * | 2006-11-20 | 2012-05-30 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| KR100955483B1 (ko) * | 2008-08-12 | 2010-04-30 | 삼성전자주식회사 | 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 |
| KR101018233B1 (ko) * | 2009-03-31 | 2011-02-28 | 강희민 | 에이치디알 영상 생성 장치 및 방법 |
| WO2011143622A2 (en) * | 2010-05-13 | 2011-11-17 | Google Inc. | Underwater acquisition of imagery for 3d mapping environments |
| CN102959964B (zh) * | 2010-05-14 | 2015-01-14 | 惠普发展公司，有限责任合伙企业 | 多视点视频拍摄***和方法 |
| JP6511221B2 (ja) | 2010-08-26 | 2019-05-15 | グーグル エルエルシー | 入力テキスト文字列の変換 |
| WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
| CN102510474B (zh) * | 2011-10-19 | 2013-12-25 | 中国科学院宁波材料技术与工程研究所 | 一种360度全景监控*** |
| CN102663624A (zh) * | 2012-04-19 | 2012-09-12 | 太仓欧卡网络服务有限公司 | 一种应用于电子商务的服装展示方法 |
| DE102013204155A1 (de) * | 2013-03-11 | 2014-09-11 | Marco Systemanalyse Und Entwicklung Gmbh | Verfahren und Vorrichtung zur Positionsbestimmung |
| US9843789B2 (en) * | 2014-09-08 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Still-image extracting method and image processing device for implementing the same |
| CN105787988B (zh) * | 2016-03-21 | 2021-04-13 | 联想(北京)有限公司 | 一种信息处理方法、服务器及终端设备 |
| DE102017118714A1 (de) * | 2016-08-17 | 2018-02-22 | Google Inc. | Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme |
| CN109708655A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 导航方法、装置、车辆及计算机可读存储介质 |
| KR102617222B1 (ko) * | 2019-12-24 | 2023-12-26 | 주식회사 쓰리아이 | 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 |
| CN111596594B (zh) | 2020-06-08 | 2021-07-23 | 厦门理工学院 | 一种全景大数据应用监测管控*** |
| KR102483388B1 (ko) * | 2020-07-31 | 2022-12-30 | 주식회사 쓰리아이 | 전방위 이미지 처리 방법 및 이를 수행하는 서버 |
| JP2023532831A (ja) * | 2021-05-31 | 2023-08-01 | スリーアイ インコーポレーテッド | 仮想室内空間コンテンツ提供方法およびそのためのサーバー |
| KR102600421B1 (ko) * | 2021-05-31 | 2023-11-09 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2022255546A1 (ko) * | 2021-05-31 | 2022-12-08 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2024031245A1 (zh) * | 2022-08-08 | 2024-02-15 | 北京原创力科技有限公司 | 一种基于相机阵列的同步视频拍摄方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3331752B2 (ja) * | 1994-07-01 | 2002-10-07 | 松下電器産業株式会社 | 画像合成装置 |
| US6141034A (en) * | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
-
2002
- 2002-02-09 WO PCT/KR2002/000223 patent/WO2002065786A1/en active IP Right Grant
- 2002-02-09 KR KR1020037010262A patent/KR100591144B1/ko not_active IP Right Cessation
- 2002-02-09 CN CNA028071050A patent/CN1531826A/zh active Pending
- 2002-02-09 JP JP2002565367A patent/JP2004531113A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525054A (ja) * | 2003-06-03 | 2007-08-30 | スチュアート，レオナード，ピー．，Ｉｉｉ | ディジタル３ｄ／３６０度カメラシステム |
| JP2006217222A (ja) * | 2005-02-03 | 2006-08-17 | Nagoya City | パノラマ映像作成方法と作成装置 |
| JP4551990B2 (ja) * | 2005-02-03 | 2010-09-29 | 名古屋市 | パノラマ映像作成方法と作成装置 |
| WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
| US9733080B2 (en) | 2009-10-02 | 2017-08-15 | Kabushiki Kaisha Topcon | Wide-angle image pickup unit and measuring device |
| JP2014115374A (ja) * | 2012-12-07 | 2014-06-26 | Topcon Corp | 全方位カメラ |
| WO2017149875A1 (ja) * | 2016-02-29 | 2017-09-08 | ソニー株式会社 | 撮像制御装置、撮像装置及び撮像制御方法 |
| US10582127B2 (en) | 2016-02-29 | 2020-03-03 | Sony Corporation | Image processing device, display device, reproduction control method, and image processing system |
| JP2019516295A (ja) * | 2016-04-06 | 2019-06-13 | フェイスブック，インク． | ３次元３６０度バーチャルリアリティカメラの露出制御 |
| KR101843025B1 (ko) | 2016-12-30 | 2018-03-28 | (주)잼투고 | 카메라워크 기반 영상합성 시스템 및 영상합성방법 |
| WO2018124794A1 (ko) * | 2016-12-30 | 2018-07-05 | (주)잼투고 | 카메라워크 기반 영상합성 시스템 및 영상합성방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002065786A1 (en) | 2002-08-22 |
| KR100591144B1 (ko) | 2006-06-19 |
| CN1531826A (zh) | 2004-09-22 |
| KR20030078903A (ko) | 2003-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004531113A (ja) | 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 | |
| US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
| US9124802B2 (en) | Digital 3D/360 degree camera system | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| US7583858B2 (en) | Image processing based on direction of gravity | |
| CN100437639C (zh) | 图像处理装置和图像处理方法 | |
| US20060078215A1 (en) | Image processing based on direction of gravity | |
| JP2020506487A (ja) | シーンから深度情報を取得するための装置および方法 | |
| JP2002503893A (ja) | 仮想現実カメラ | |
| WO2008152740A1 (ja) | デジタル空撮３次元計測システム | |
| JP2006059202A (ja) | 撮像装置及び画像補正方法 | |
| EP1494476A1 (en) | Image processing method and apparatus | |
| JP2004072349A (ja) | 撮像装置、及びその制御方法 | |
| JP5363878B2 (ja) | ステレオ画像撮影装置及びその方法 | |
| KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
| JP2003296708A (ja) | データ処理方法、データ処理プログラムおよび記録媒体 | |
| JP2001317915A (ja) | ３次元計測装置 | |
| KR20160031464A (ko) | 비디오 필름을 촬영하기 위한 촬영 카메라의 위치를 추적하는 시스템 | |
| CN110036411B (zh) | 生成电子三维漫游环境的装置和方法 | |
| CN104700392B (zh) | 虚拟影像定位方法及其装置 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体 | |
| JP3433882B2 (ja) | 仮想空間生成装置 | |
| JP2001177850A (ja) | 画像信号記録装置および方法、画像信号再生方法並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |