JP3650578B2 - 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム - Google Patents
画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム Download PDFInfo
- Publication number
- JP3650578B2 JP3650578B2 JP2000297723A JP2000297723A JP3650578B2 JP 3650578 B2 JP3650578 B2 JP 3650578B2 JP 2000297723 A JP2000297723 A JP 2000297723A JP 2000297723 A JP2000297723 A JP 2000297723A JP 3650578 B2 JP3650578 B2 JP 3650578B2
- Authority
- JP
- Japan
- Prior art keywords
- panoramic image
- scale
- viewpoint
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 description 29
- 230000006870 function Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000005056 cell body Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008906 neuronal response Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、概して広角画像システムによって作成された画像の歪みを補正する画像処理の分野に関する。特に本発明は、画像の歪みを除去するために、例えばパノラマ画像のような広角画像内で相互的なナビゲーションを可能にするシステムに関する。
【0002】
【従来の技術】
近年、パノラマ画像埋没操作、テレプレゼンス、仮想現実などの分野における研究と応用開発にかつてなかったほどの興味が寄せられている。パノラマ画像埋没操作を使うと、使用する画像システムの視野内という制約はあるものの、ユーザは遠隔の景色中に埋没して望む方向を見ることができる。埋没式テレプレゼンスでは遠隔地の全方向の景色を生画像で、また、埋没式バーチュアル・リアリティーでは一般に、埋没する画像を合成して表示する。
【0003】
埋没式パノラマ画像システムでの主な課題は、システムを実用レベルかつ低コストにするのに十分な視覚情報をどのように符号化するかということである。1つの解決策としては方向感知装置を用いてユーザの希望する方向を感知して、入力情報を用いて通常のカメラを回転させてユーザの指示する方向の視野を撮影することである。このようなシステムはクーガラン(Coughlan)その他に与えられた米国特許4,728,839に記載されている。ここでは、2人以上のユーザが遠隔の景色を快適に操作することができないという欠点のほか、方向指示の信号発信と、それに合う方向にカメラ位置を合わす操作との間に遅れが避けられず、このシステムの実用価値が大きく損なわれる。この問題をより優美に解決する方法はパノラマ画像を使用することである。グレガス パル(Greguss Pal)に与えられた米国特許4,566,763はその一解決法を示している。
【0004】
サトー ハルオ(Sato Haruo)に与えられた米国特許5,434,713に説明する魚眼レンズシステムはもう1つの解決法である。しかしパノラマ画像システムは、作り出す画像内に大きな非線形の幾何学的な歪みを伴うため、人間がその画像を快適にみようとすると、歪みを補正する必要がある。文献によればこの歪みは透視歪みと呼ばれ、これを補正するプロセスを透視補正視野の生成と呼ぶ。
【0005】
透視歪みの問題にはいくつかの解決策が存在する。その1つはスティーブン ズィマーマン(Steven Zimmermann)に与えられた米国特許5,185,667に説明されている。説明によればシステムは複雑な三角変換を用い、数学的に理想的な魚眼レンズを前提としている。現実の魚眼レンズは普通、理想からはずれており、’667特許に説明するシステムが使用できるのは、理想的な形状を前提としたときに避けられない誤差を許容できる場合に限られる。そのような用途であってもこの方法は魚眼レンズ以外のパノラマ画像システムには拡張できない。
【0006】
ガリシエン(Gullischen)その他による米国特許6,005,611に記載されている解決法によって、’667特許に示すシステムの制約の一部が改善される。’611特許は1組の投影方程式から得られた制御点と透視歪みを補正するための2変数多項式を使用する。’611特許で提示された解決法は’667特許のそれよりも簡単で高速ではあるが、制御点の生成に魚眼レンズの投影方程式を使用することに依存している。この方程式は理想的な魚眼レンズを仮定しているため実用価値は限定される。さらに’611特許の方法を他のパノラマ画像システムに拡張しようとすると、それぞれのシステムに合う投影方程式を規定することが必要となる。方程式の作成は当初可能であったとしても手間がかかる。通常、投影方程式はパノラマ画像システムに対して数学的な理想状態を仮定するため、’611特許の方法でも、’667特許の主要な欠点の1つを解決できない。
【0007】
【発明が解決しようとする課題】
上記の背景から、パノラマ画像システムの投影方程式を作成する必要がなく、数学的に理想的なパノラマ画像システムを仮定しなくとも、任意のパノラマ画像システムから透視歪みを補正した画像が作れるようなシステムに対して強い要望がある。また汎用コンピュータを用いて(典型的には毎秒30フレームの)リアルタイムで画像を作成するシステムの要望もある。
【0008】
さらに、任意のパノラマ画像システムから、任意の精度で透視歪みを補正した画像が作れるようなシステムに対して強い要望があり、これがあれば補正済みの画面上で正確な測定値を利用するようなシステムを作ることが可能となる。
【0009】
以下に、パノラマ画像ナビゲーションシステムに関して、本発明の特徴を記述及び主張し、歪みのある広角画像から歪みのない画像を得るのに適用可能であるニューラル・ネットワークを教示し、使用する方法及び装置を本発明が開示することが明確となるであろう。したがって、本発明の適用範囲は、パノラマ画像の処理に限定されるものではない。
【0010】
以下、『画像の歪み』という単語は、例えば3次元のパノラマ景色の環状画像で見られる内在した(凡庸な)歪みと、画像システムによって作られてしまう光学的歪みのような複雑で非線形的な歪みとの両方に対して適用されるものとして理解されるべきである。画像システムでは、光学レンズユニットの参照原点を通過する入射光線の方向は、正確に画像上にマッピングされるわけではない。
【0011】
<発明のまとめ>
上記の従来の技術の課題を解決することが本発明の目的である。特に、十分に歪みの除去した対応する景色画像が得られるように、画像装置によって取り込まれる歪みのあるパノラマ画像の任意の領域が選択できる画像ナビゲーションシステムを供給することが目的である。
【0012】
【課題を解決するための手段】
上記目的を達成するために、本発明はパノラマ画像システムの構築を行う。本発明のパノラマ画像システムでは、ニューラル・ネットワークによって画像の歪みの補正が達成される。ニューラル・ネットワークは、視覚的な目盛り点の配列(目盛りパターン上に定義)を有する目盛りパターンを用いて、前もって教示される。
【0013】
特に、目盛りパターンはパノラマ画像システムのレンズユニットの周囲に配置され、目盛りパターンを有する(歪みのある)目盛りパノラマ画像がこのシステムによって取り込まれる。レンズユニットの参照原点から見た目盛りパターン上の目盛り点のそれぞれの視点は計算又は計測される。これらの視点は、目盛り画像内に現れる対応目盛り点でのそれぞれの位置に対して、例えば1組の角座標(仰角、アジマス)として特定される各々の方向と合わせられる。
【0014】
その後、ニューラル・ネットワークへの入力に目盛り方向のセットを用いて、ニューラル・ネットワークは教示される。ネットワークからの対応する反応の出力は、目盛り画像内の目盛り点の対応位置を表す座標のセットと比較され、誤差が得られる。この誤差は、適切なアルゴリズムを用いて、十分な教示が達成されたと判断されるまで、ニューラル・ネットワークの内部パラメータ(例えばニューロン結合の重みの値)を変更するために用いられる。
【0015】
ニューラル・ネットワークがいったん教示されると、任意の歪みのある広角画像が歪みのないサブ画像として表示された場合、例えば表示スクリーン内の画素の矩形配列から作られた視野ウィンドウに表示された場合、ユーザによって、サブ画像用の特定の視点が指定される。これによって、特定の視点が視野ウィンドウの中心に位置する画素に割り当てられる。次に、視野ウィンドウの他の画素の各々に対して、中心画素の視点と中心画素から見た他の画素の位置に基づいて、対応する視点が計算される。
【0016】
以上のようにして得られた視点のセットは、その後、連続的に教示されたニューラル・ネットワークに入力される。その結果、ニューラル・ネットワークからの反応として、入力された視点にそれぞれ対応する歪みのある広角画像内の位置を特定する情報が得られる。その後、歪みのある広角画像内の各々の位置(すなわち、各々の位置は、特定の視点方向、つまり視野ウィンドウ内の特定の画素位置に合わせられている)における画素のビデオ特性が抽出され、視野ウィンドウ内の対応する画素に割り当てられる。
【0017】
以上により、歪みのないサブ画像が視野ウィンドウ内に現れる。この歪みのないサブ画像は、元の実世界の景色内の選択された一部を特定の視点方向に沿って見ることによって見える画像に対応している。ニューラル・ネットワークによる位置データの生成は、主に一連の単純な乗算及び加算(その数はパノラマ画像システムの歪みの複雑さに依存する)を含んでいる。最も利用しやすいパノラマ画像システムでは、必要とされる乗算及び加算の数は非常に少なく、一般に用いられるパーソナルコンピュータで、複数のユーザがパノラマ画像のリアルタイム調整を同時に行うことが可能である。
【0018】
上記のように歪みのあるパノラマ画像から抽出されたデータを用いて作成された歪みのないサブ画像は、コンピュータも似たのような適切な表示システム上に表示される。本発明では、パノラマ画像システムによる歪みのない3次元の実世界の景色から歪みのある2次元画像の作成することは、2次元画像内のそれぞれの点上で3次元空間内の特定の点に関して定義される方向の入出力マッピングとみなされる。人工ニューラル・ネットワークは、任意の精度で任意の入出力マッピングを近似できることが知られている。ニューラル・ネットワークは、任意の精度でパノラマ画像システムに特徴的な歪みを近似できるので(例えば機械による画像に基づく工業的な処理の制御などの)パノラマ画像からパラメータを正確に測定する場合にも、本発明を適用することができる。
【0019】
本発明は、使用されている特定のパノラマ画像システムを用いて取り込まれた画像から得られたサンプルデータのみを利用しており、パノラマ画像システムに関する数学的な理想化を前提としない。さらに、パノラマ画像システムの投影方程式の導入も必要としない。それ故、どのようなパノラマ画像システムの利用も可能であり、望んだ精度で特徴的な歪みを近似することができる。
【0020】
以上のように、本発明は、任意のパノラマ画像システムで取り込まれたパノラマ画像から歪みを補正した任意の画像を作成するシステムを提供することを目的とする。また、本発明は、複数のユーザが、同一又は異なる透視補正視野を同時に見られるようにすることを目的とする。また、任意のパノラマ画像システムに特徴的な歪みを任意の精度で近似し、透視補正視野上で正確な測定を行うシステムを作ることを目的とする。さらに、パノラマ画像システムの投影方程式の決定、又はパノラマ画像システムに係る理想化の前提を必要とせずに、上記の目的を達成することも、本発明の目的である。本発明のこれらの目的及び本発明の更なる目的は、後述の詳細な説明で明らかとなるであろう。
【0021】
【発明の実施の形態】
本発明の説明に使用する方法を理解するためには、人工ニューラル・ネットワークの概要を説明する必要がある。人工ニューラル・ネットワークは人間や動物の神経系統に見られるニューロンの構造や動作原理を大まかなモデルとする、簡単な処理ユニットで構成された非線形マッピング・システムである。このことから人工ニューラル・ネットワークを構成する処理ユニットは、しばしば人工ニューロンと呼ばれる。
【0022】
人工ニューロンがモデルとする生体ニューロンの一部は木の枝状で、近傍のニューロンとの間で信号を配分・集約する。その細胞体は信号を集積したり反応を生成したりする機能を有し、木の枝部分は細胞体が生成した反応を近傍のニューロンに配送する機能を果たす。図1に示すように、生体ニューロンの重要な要素は人工ニューロンと相似の機能を有する。生体ニューロンは自己の内部状態と入力とに応じた反応を生成する。ただしニューロンの反応はその結合の強さ(重み)によって決まると考えられている。図1を参照すると、人工ニューロンの反応yは次の式で代表される。
【0023】
【数1】
【0024】
ここでf( )は活性関数とよばれるもの(通常、単純な非線形関数)である。また、
【0025】
【数2】
【0026】
は結合の重みであり、
【0027】
【数3】
【0028】
は外部入力又は近傍のニューロンの出力である。式(1)は、人工ニューロンの反応を計算する唯一の方法ではないが、広く利用されている。
【0029】
いくつかの人工ニューロンを繋ぎ合わせて多種類の動作形態をもつネットワークを形成することにより、興味深くかつ有益な挙動をするさまざまな人工ニューラル・ネットワークが得られる。人工ニューラル・ネットワークは普通、非線形入出力マッピング・システムに利用される。入出力マッピングの種類、すなわち人工ニューラル・ネットワークによって実現できる機能は、そのネットワーク内の結合に依存している。ある広範な制約条件を満足させる任意の機能は、適当な大きさと構造をもつ人工ニューラル・ネットワークによって、任意の精度で近似できることがわかっている。
【0030】
ニューラル・ネットワークの構造は任意に選択はできるが、普通、層状のネットワークが広く用いられている。層状ネットワークはニューロンが層状に並んでおり、特定の層にあるニューロンが前の層とつながって、そこから信号をうけとり、次の層に出力(反応)を伝えるように結合されている。外部入力は最初の層に供給され、ネットワークの出力は最後の層から得られる。中間の層は入力・出力のいずれからも直接観察できないため、普通、隠れた層と呼ばれる。図2は3層ニューラル・ネットワークの一例である。
【0031】
生体組織と同様に、人工ニューラル・ネットワークは、例から学習する能力を有する。ニューラル・ネットワークは教示の過程を通じて、前例から学習する。特別の指示なしでも入力データから学習することができる、いわゆる自己組織化人工ニューラル・ネットワークもあるが、本発明では、指示つき学習が必要な人工ニューラル・ネットワークを用いて学習データに含まれる機能を学習し、そのデータが表すシステムをモデル化するようにしている。
【0032】
指示つき学習は、2セットの例題データを使用して行う。セットの1つは入力であり、もう一方のセットはモデル化するシステムの反応を表す。後者のセットはニューラル・ネットワークに要望する反応として使用する。学習時には入力データが与えられ、その反応が要望する出力と比較される。そのとき、いくつかの学習アルゴリズムの1つと関連して、ネットワークの実際の出力と要望する反応との差(これは、ネットワークの誤差と呼ばれる)を用いることができ、誤差が最小になるようにネットワーク内の結合の重みが変更される。このプロセスは指定の条件が満たされるまで繰り返し行われる。ニューラル・ネットワークを学習させる方法としてよく利用される方法の一つは、後方伝播(back propagation:バック・プロバケーション)という名で知られている。
【0033】
教示データによって表されるシステムの特性をネットワークが十分学習したとみなされると、その重みを保存する。その後、その重みは入力に対応した正しい反応を得るのに用いられるが、このときの入力は最初の学習時のセットに含まれていないものもある。当初学習させたセットにない入力データに対し、かなり正確に反応できるように訓練されたニューラル・ネットワークの能力は普遍化と呼ばれており、本発明はその能力を十分に利用する。
【0034】
本発明によれば、パノラマ画像システムを用いて歪みのない実世界の景色から歪んだパノラマ画像を作成することは、歪みのない実体空間中の座標と歪んだ画像空間中の座標との間の入出力マッピングとみなされる。どんなパノラマ画像システムでも、歪みのない実世界座標を示すデータと歪んだパノラマ画像座標を表すデータの2組のサンプル・データセットを得ることができる。こうして得られたデータを用いて、希望する精度で特定のパノラマ画像システムを近似するのに十分複雑なニューラル・ネットワークを教示することが可能である。
【0035】
後述する本発明の実施の形態の説明において、適切なニューラル・ネットワークを自動的に構築する具体的なアルゴリズムを提示する。しかし、使用する特定のパノラマ画像システムの複雑さについて、前もって知識があれば、最適なネットワークの構造を手動で選択するのに役立つ。さらに、たとえばカスケード相関(階層なしのネットワークを生成する構築アルゴリズム)や還元ネットワークなど適用できる数多くの構築アルゴリズムが存在する。
【0036】
図4には、本発明の実施の形態が示されている。パノラマ画像システム20は、米国特許4,566,763に説明されているパノラマ画像ブロックのようなパノラマ・レンズの組み合わせと、ビデオ又は静止画カメラから構成され、実世界の景色の歪んだパノラマ画像を生成する。特許’763に記されたパノラマ画像ブロックは、いくつかの反射面と屈折面をもつ小型の組み立て品で構成される。以降、このパノラマ画像システムを単にPAL (Panorama Annular Lens) システムと呼ぶことにする。このシステムは図5に示すような歪みをもつドーナツ形の平面状の環状画像を生成する。
【0037】
図5において、パノラマ画像ブロックは80で示される。パノラマ画像ブロックの原点は81で示され、図5で示されるXYZ座標の原点に対応している。パノラマ画像ブロック80の中心軸、すなわち一般に取り込まれた実世界の景色の垂直方向に近い方向を向いている軸は、XYZ座標システムのZ軸に対応している。広角レンズユニットの『原点』という言葉は、ここではレンズユニットの視点方向の視点となる参照点という意味で用いられる。すなわち、視点方向のアジマス角度及び仰角は、原点81に対して測定される。
【0038】
記述を簡単にするため、中心に垂直であり原点を含む面、すなわち図5のXY面が水平面として参照される。これは必ずしも実世界の実際の水平面に対応している必要はない。PALシステムは、360度の水平方向の視野と180度の広さまで広がる垂直方向の視野を有する。水平面上の最大角は
【0039】
【数4】
【0040】
によって示され、一方、水平面下の最小角は
【0041】
【数5】
【0042】
によって示される。それぞれ異なる仰角を有する(原点81から見られる)実世界の対象空間内の点は、PAL画像内での異なる同心円状にそれぞれ存在する。同様に、お互い並行であり、異なる仰角方向を向いている実世界の対象空間の点(すなわち、パノラマ画像ブロックの中心軸を通る共通の垂直平面上に存在する)は、PAL画像内の半径方向の線上に投影される。
【0043】
ビデオカメラの出力は、カメラに内蔵されているビデオデジタル回路、又は40に示す汎用コンピュータ内にあるビデオデジタル化回路、又は独立のデジタル化装置でデジタル信号化される。このビデオデジタル化はリアルタイム(普通毎秒30フレーム)で行うことができる。ビデオデジタル化されたパノラマ画像は一般に30で示す適当な記憶装置に保存され、コンピュータ40により取り出せる。記憶装置はコンピュータ40のランダム・アクセス・メモリー(RAM)でもよいし、コンピュータ40に動的に接続された適当な保存媒体でもよい。この画像に関して、30での保存の前後に、アンチエイリアス回路(ギザギザを滑らかにする)に通したり、適当な前処理工程を行ったりすることも可能である。また、コンピュータ40として、現在手に入る各種のパーソナルコンピュータを用いることが可能である。
【0044】
図4では教示したニューラル・ネットワークは一般に10で示し、コンピュータ40によってアクセス可能である。ネットワークはコンピュータ40のRAMに内蔵されていてもよい。教示したニューラル・ネットワーク10はその構造の種類と、教示したときの最終時の結合強度に対応する重みの値のセットとによって表される。
【0045】
ユーザ入力データ50は、コンピュータ・マウスのような適切な入力装置とコンピュータ40上の適切な入力ポートを介して得られる。ユーザ入力データ50によって、少なくとも歪みのあるパノラマ画像上の位置が、上記のPALシステムの原点から見た特定の方向に対応する方向(角座標の組)として指定される。歪みのあるパノラマ画像上の位置は、垂直方向(仰角方向)及び水平方向の角度(アジマス角度)の範囲内にあり、PALシステムに包含されている。さらに、ユーザ入力によって、歪みのある出力画像のサイズ(表示スクリーン上の画素の矩形配列のような出力画像を作る視野ウィンドウに用いられる画素数)、ズーム率、出力画像の望ましい方向を記述するパラメータを指定するようにすることも可能である。
【0046】
コンピュータ40上のソフトウェアがユーザ入力50及び入力画像バッファ30内の歪みのあるパノラマ画像を、教示したニューラル・ネットワーク10の操作と結合して、歪みのない画像を生成し、出力画像バッファ60に保存する。ここでも、出力画像バッファ60はコンピュータ40のRAM上であっても、その他の適当な記憶装置であってもよい。出力画像バッファ60に保存された視野補正ずみの画像は、一般に70で示す適当な表示装置上に表示される。
【0047】
その後、出力画像バッファ60に保存された透視補正視野の画像は、一般に70で示される適切な表示装置に表示される。表示装置70としては、コンピュータモニタ又は頭に装着するディスプレイを用いることができる。
【0048】
図3は、教示したニューラル・ネットワーク10を得る過程を示すフローチャートである。まずネットワーク教示用に2つのデータセットを取得する。第1のデータセットは、(パノラマ画像システムの光学装置の原点に関して)目盛りパターン内で対応する目盛りの点のそれぞれの目盛り方向のセットの座標からなる。パノラマ画像ブロックがPALシステムの場合、その目盛りパターンは例えば円筒の白い表面に等間隔で描かれた黒い点でよい。この円筒を目盛り円筒と呼ぶことにする。
【0049】
この目盛りパターンを用いて、PALシステムの原点に関する目盛り点のそれぞれの方向、これらの方向と歪みのあるパノラマ画像内の対応点との調和をできるだけ容易に決めることが目的である。したがって、これらの目盛り点と目盛りパターンとの背景とはできるだけ大きなコントラストがあることが好ましい。
【0050】
目盛り円筒は、PALシステムの光軸が円筒の中心軸と同一になり、パノラマ画像ブロック80を含むように並べられる。円筒の長さ及び半径、目盛りパターンは、パノラマ画像ブロック80がだいたい円筒の中心に位置するように選択され、その結果、目盛りパターンがパノラマ画像ブロック80の視野を全体的に十分覆うようになる。すなわち、(垂直方向での)目盛り方向の範囲は、少なくともパノラマ画像ブロック80によって得られる仰角の最大範囲を覆うことになる。
【0051】
そのとき、PAL画像の目盛りパターンは、図5に示す平面状の環状画像82内のそれぞれの場所での画素の値のセットとして得られる(ここで、『画素の値』とは画像要素での輝度/クロミナンスの特性データを意味する)。PALシステムの中心軸と目盛り円筒の軸とを調整することによって、パノラマ画像ブロック80の原点に関して、それぞれの目盛りの点の方向を決定すること、続いて目盛りパターンで表される歪みのあるパノラマ画像のそれぞれの位置にこれらの方向を合わせることが可能となる。これは、目盛り円筒表面のすべての点がPALシステムの中心軸から同一の半径距離上に存在することによる。しかし、例えば引き延ばした箱などの内面に目盛りパターンを作成するなど、目盛りパターンに関して、他の様々な配置を行うことも等しく可能である。
【0052】
そのとき、目盛り点が目盛りパターンのPAL画像上に存在する場所は、実際の目盛りパターンのそれぞれ対応する目盛り点に合わされる。これにより、これらの目盛り点に対応するそれぞれの目盛り方向(PAL画像ブロック80の原点81と目盛り点との間で各々測定又は計算されたもの)は、ニューラル・ネットワークの教示用の第1の教示データのセットとして得られる。一方、これらの目盛り方向は、第2の教示データセットを作り出す位置のセットを用いて、目盛りパターンのPAL画像上での対応位置(例えば半径と角度との組み合わせとして表される各々の位置を有する)と合わされる。各目盛り方向は、アジマス角の角度θ(0から360度まで)と水平面によって2分される仰角(垂直方向の角度)である。
【0053】
【数6】
【0054】
によって表される。
【0055】
図8は、円筒90の内面上に作成される目盛りパターンを用いた場合の目盛り情報源を示す概念的なダイアグラムである。記述を簡単にするため、目盛りパターンは、点で作られた3つのリングのみから構成されている例を示している。リング92は、図示されているように円筒90内に位置しているパノラマ画像ブロック93の水平面に等しい方向となっており、円筒90の軸はパノラマ画像ブロック93の光軸と同一方向を向いている。
【0056】
94は、パノラマ画像ブロック93の原点96から点94まで延長する線の方向である視点を有する目盛り点を示しており、
【0057】
【数7】
【0058】
で示される仰角と矢印95で示されるアジマス方向とを有している。
【0059】
上記のようにして得られた教示用データセットを用いて、最小構成に近い3層ニューラル・ネットワークを構築する。すなわち入力点の水平および垂直座標をそれぞれのための入力ニューロン2個、隠れたニューロン1個、出力点の水平および垂直座標のそれぞれのための出力ニューロン2個で構成する。隠れたニューロンの初期の重みは任意の値を入れる。教示には後方伝播法を用いる。
【0060】
重み及びネットワーク出力に対してはS字放射化関数を使用する。ネットワーク性能の測定には平均二乗誤差関数を選択し、ネットワークの平均二乗誤差に対する上限を指定した上で、入力として最初のデータセットの点を提示して学習を開始する。出力された反応を第2のデータセット中の予想反応値と比較する。この技術に精通した人なら理解できるが、平均二乗誤差の上限値はネットワークの最終的な大きさに影響し、初期の最小構成に近いネットワークよりも大きいものが妥当な性能を得るのに必要となる。ネットワークの大きさは次に示すアルゴリズムにより、学習を繰り返すことによって新しい隠れたニューロンが動的に追加されて自動的に変化していく。
【0061】
ステップ1: たとえば学習の100回ごとに全体誤差を評価する。
ステップ2: 全体誤差が例えば少なくとも1%以内しか減少しない場合、新しい隠れたニューロンを追加する。この新しい隠れたニューロンの重みの初期値は、任意の重みに設定される。
ステップ3: 目標とする平均二乗誤差に達するまでステップ1を繰り返す。
【0062】
技術に精通する人なら理解できるが、このアルゴリズムは新しい隠れニューロンを追加するだけであるから、指定した誤差の上限が示す精度でPALシステムの固有の歪みを近似するのに最低限必要な数以上のノードを、結果としてネットワークが持つことになる。この状態はネットワークの普遍化能力を低下させ、ネットワークが生成する視野補正画像の生成速度にも悪い影響を与える。よって上記の動的なニューロン生成アルゴリズムを適用したのち、摘み取り工程が必要となる。摘み取り工程は最近追加されたニューロンを取り除き、ネットワークを再教示し、誤差を再評価する。もしネットワークが収斂すれば、さらにもう一つのニューロンを取り除く。最適のネットワークの大きさに達すると、それ以上のニューロン除去でネットワークが収斂しなくなる。この段階で摘み取り作業が終わる。
【0063】
ここでは、特定のニューラル・ネットワークの構造と構築アルゴリズムを説明したが、他のニューラル・ネットワークの構造と構築アルゴリズムも、本発明から逸脱することなく使用することができる。ニューラル・ネットワーク10は普通コンピュータでシミュレートできるが、ハードウェアを用いても実現できる。ニューラル・ネットワーク10をコンピュータでシミュレートする場合、教示用のデータセットはテキストファイルから読み込む。
【0064】
図6及び図7は合わせて、ユーザ入力がどのように変換されて、教示したニューラル・ネットワーク用の入力として用いるための歪みのない複数の座標点になるかを示している。図6では、84はCRTなどの表示装置の画素の矩形配列から作られる視野ウィンドウを示しており、歪みのあるパノラマ画像から歪みのないサブ画像を表示するものである。 視野ウィンドウの中心の画素位置は6´で示されており、4つの角はそれぞれ1´、2´、3´、4´で示されている。
【0065】
パノラマ画像82のように取り込まれた元の視野の特定領域中の歪みのない2次元視野を得るため、歪みのあるパノラマ画像82内の画素に対応するセットのビデオ特性に従って、視野ウィンドウのそれぞれの画素を決定する必要がある。
【0066】
ユーザが、視野ウィンドウ(すなわち、歪みのあるパノラマ画像を取り込む際のパノラマ画像ブロック80の原点から見た方向を表す1組の角座標)での視点を指定していることを前提とする。ニューラル・ネットワークへの入力が行われた場合、視野ウィンドウは、最終的にニューラル・ネットワークから出力される反応データ(半径と角度との組み合わせ)として特定される歪みのあるパノラマ画像82での画素位置6となる。
【0067】
今、視野ウィンドウ84の他の画素の各々に対して、ニューラル・ネットワークに入力し、これによるニューラル・ネットワークの出力から歪みのあるパノラマ画像82内の対応位置を求めるための対応視点を得る必要がある。この方法で、各視野ウィンドウ84の画素に対応する歪みのあるサブ画像83内のすべての位置が求められる。図6では、領域83は、視野ウィンドウ84内のそれぞれの画素位置で得られた視点のセットに対応する(PAL画像内の)位置のセットを表している。
【0068】
視野ウィンドウの中心の位置でのユーザにより指定される上記の位置が、図6に示すように、
【0069】
【数8】
【0070】
で表せると仮定する。簡単にするため、ズーム率を1.0、ユーザによって指定された視野ウィンドウを幅Wピクセル、高さHピクセルとし、視野ウィンドウを、図7のようにU−V面内の領域として表し、U−V面の原点を図6の視野ウィンドウ84の中心点6´に対応させる。
【0071】
ズーム率が1.0であるためPAL画像の全周(すなわち、外側の半径Rの長さによってその画像の画素数として表される)は2πRであり、これは2πラジアンの角度範囲に対応する。すなわち、PAL画像の外周上の1ピクセルは1/Rラジアンに対応する。よって、ズーム率1.0では、U軸上の1ピクセルであり、視野ウィンドウ84内の1ピクセルは、アジマスの1/Rラジアンに対応する。2πラジアンの全アジマス角度範囲(2πラジアン)をPAL画像の外周に割り当てることで、入力PAL画像のすべてのピクセルが変換によって少なくとも1回は使用される。すなわち、歪みのあるパノラマ画像82中の画像データは使用されずに残ることはない。
【0072】
同様に、PAL画像82の全半径幅(R−rピクセル)は、PALシステムの垂直視野角
【0073】
【数9】
【0074】
に対応する。0より大きい角度
【0075】
【数10】
【0076】
には正の値が与えられ、水平線から下の角度
【0077】
【数11】
【0078】
には負の値が与えられる。このことより、垂直視野
【0079】
【数12】
【0080】
は正となる。したがって、視野ウィンドウ84内の補助画像のV軸上の1ピクセルは
【0081】
【数13】
【0082】
ラジアンに対応する。すなわち、1組の(u,v)座標として表現される視野ウィンドウ84内の任意の画素位置に対して、教示したニューラル・ネットワークへの入力として用いられる1組の対応する座標
【0083】
【数14】
【0084】
は次のように計算できる。
【0085】
【数15】
【0086】
式(2)及び(3)は、次の条件下で有効である(ズーム率1.0のとき)。
【0087】
【数16】
【0088】
上記の式は図9の単純な概念図を参照することによって、簡単に理解できる。図9の概念図では、100は環状パノラマ画像を示し、説明のために3つの画素のリングを有し、上記の角度1/RがB/8ラジアンであり、(VA−VB)/(R−r)もまたB/8ラジアンであるような上記の蓄積データによって表現される。(実際のコースの環状画像は、外周で最大となる角度の解像度を有する連続的な画素の配列として表される。)
【0089】
記述を簡単にするため、画素の一部のみが表されている。図9に示される環状画像内の画素の位置とそれぞれの視点との関係は、理想的な(光学的に歪みのない)画像システムにより得られる画像の場合において正しいものとなる。水平面内の位置に対応する環状画像内の画素の位置の軌跡は、図9の中心リング102である。
【0090】
領域101は、平面状の環状画像101´全体が平面状の矩形、すなわち、環状画像100内の画素と矩形領域101の画素(ズーム率が1.0の場合)との間で1:1の対応関係を持った画素の矩形配列となる変形を示している。したがって、画面の画素のピッチの2倍である領域101の高さは、仰角のB/4radに等しい。また、領域101の水平方向の広さは、画面の画像のピッチの16倍であり(なぜなら、環状画像の外周の画素が16分割している)、アジマス角度の2Bラジアンに等しい。
【0091】
したがって、この非常に単純な例で、中心のコラムとして例えば図9のコラム101を持つような、画面のサブ画像が3×3配列の9画素として得られるものであるならば、サブ画像の水平面上の画素のピッチはB/8ラジアンのアジマス角度に対応し、一方、画面の垂直方向に沿って測定されるように、画素のピッチはB/8ラジアンの仰角に対応する。正確な最初の実世界の景色に見られるような形状を正確に再生し、環状画像の比率r/Rと仰角の範囲VA−VBのラジアンとの関係が、1/Rを実質(VA−VB)/(R−r)に等しくするものであることが理解できる。
【0092】
式(2)及び(3)にズーム率1.0以外のズーム率を入れるのは比較的簡単で、ズーム率に応じて座標の縮尺を調整すればよい。さらに、ズーム率を用いるときは条件(6)、(7)は不要になる。視野ウィンドウ84内の画素の位置に対応するそれぞれの視点は、各々式(2)及び(3)から得られる1組の角座標として表され、教示したニューラル・ネットワークに入力される。それによって、ニューラル・ネットワークから出力される反応として、それぞれの視点に対応する歪みのあるパノラマ画像82内の位置を指定する対応位置情報(半径方向の値及び角度のそれぞれの組み合わせ)が得られる。
【0093】
このように歪みのあるパノラマ画像82内で指定される位置のそれぞれにおいて、その位置での歪みのあるパノラマ画像82のビデオ特性が抽出され、図4の表示システム70のような表示装置に供給される。表示装置は視野ウィンドウ84を生成し、抽出されたビデオ特性が視野ウィンドウ84内での対応画素のビデオ特性として設定される。
【0094】
ユーザがニューラル・ネットワークに入力する前に、上記式(2)及び(3)によって得られる値のセットをユーザが変更することも可能である。例えば、単純な回転や座標上での適切なアフィン変換を適用するなど、画面上の画像に対していくつかの任意の向きを指定することが可能である。教示したニューラル・ネットワークからの反応は全データではないので(S字放射化関数を使用)、双1次内挿法などの適切な内挿法を適用する。
【0095】
教示したネットワークから反応を取り出すには、それぞれのニューロンについて式(1)を用いて、入力層からはじめて出力層に至るまで単純な加算と乗算を繰り返す。3層ネットワークで2つの入力ニューロンと8つの隠れたニューロンがある場合、座標の計算は24回の乗算と22回の加算を必要とする。非常に高精度が必要な用途で、比較的大型のニューラル・ネットワークを生成するような場合は、乗算と加算をリアルタイムで行うような専用のハードウェアを用いることができる。
【0096】
ただし、精度がそれほど重要でない用途、例えばパノラマを相互的に見るような場合、出力ウィンドウ84の全面をカバーする制御座標の格子を用い、かつ制御点に対する(ニューラル・ネットワークに入力される)角座標のそれぞれの組み合わせのみを計算させ、ニューラル・ネットワークから歪みのあるパノラマ画像内の対応する位置を特定する情報を得ることにより、視野補正した画像の生成速度を何倍にも早くすることができる。その場合、双1次内挿法を用いて、制御点で示された画素以外の視野ウィンドウの画素に対応する歪みのあるパノラマ画像内のそれぞれの位置を特定することが可能である。
【0097】
簡単な例として、歪みのあるパノラマ画像内にあって、互いに隣接した4つの制御点のそれぞれに対応する4つの位置を得るためにニューラル・ネットワークが用いられた場合、位置情報には内挿法が適用可能であり、画面ウィンドウ内の4つの制御点に関して中心に位置する画素に対応するほぼ正確な位置情報を得ることができる。それ故、視野ウィンドウの画素のすべてに対する(歪みのあるパノラマ画像に関する)位置情報を得るためにニューラル・ネットワークを利用することは必要ではなくなる。この技術に精通した人ならわかるが、制御点の数が多いほど結果はより正確になり、制御点の数をさらに多くして、出力画像のピクセルの数まで増やすと、教示したニューラル・ネットワークを用いてすべての座標点の計算する必要が生じてしまう。また、その他の最適値計算法も使用することができる。
【0098】
この技術に精通した人ならわかるが、ここに述べた方法は入力画像を小さな部分に分割し、教示した小さなネットワークを用いて、分割の結果現れる歪みを後で修正することで、さらに最適化できる。また、本発明の好ましい実施の形態として、2次元対2次元の入出力マッピングを用いたが、この技術に精通した人なら、ここに述べた方法はどのような次元の組み合わせの入出力マッピングにでも応用できることがわかる。さらに、入力画像は実世界の景色のパノラマ画像でなく、人工の景色であってもよい。またさらに、上記の原理はアジマスに関して360度の範囲の視点を有するパノラマ画像システムに限定されず、一般に広角画像システムにも等しく適用可能である。上記よりわかるように、これらの原理は以下のようにまとめられる。
【0099】
(1)目盛りパターンを構築する実世界の景色を用いて、パノラマ画像システムを使用して、(歪みのある)目盛り付きパノラマ画像を得る。目盛りパターンの目盛り上の点の配列における各々の点を画像システムの対応する視点と関連させる。教示するための入力として目盛り上の点に対応する視点を用い、ニューラル・ネットワークから出力される反応との比較を行うため、目盛り付き画像の目盛り上の点の対応位置を用い、ニューラル・ネットワークのパラメータを変更する際に使用する誤差を得て、ニューラル・ネットワークを教示する。
【0100】
(2)ニューラル・ネットワークの教示が終了した後、任意の実世界の景色の歪みのあるパノラマ画像を取ってくる。サブ画像を作成するための画素の矩形配列における中心の画素に対応する視点を指定する。サブ画像の他の画素のそれぞれに関しては、中心の画素の視点と中心の画素を参照した他の画素の位置とに基づき、さらに半径方向の比率とパノラマ画像の垂直方向の視点の範囲との関係に基づいて、対応する視点を計算する。
【0101】
(3)続いて、教示したニューラル・ネットワークにこれらの視点(例えば角座標の組み合わせ)のそれぞれを入力し、これらの視点にそれぞれ対応する歪みのあるパノラマ画像内の位置を指定する情報を得る。これらの位置の各々において、広角画像の画素のビデオ特性を抽出し、ビデオ特性をサブ画像の画素(その位置に対応する視点を有する画素)に割り当てる。
【0102】
前述した本発明の望ましい実施の形態は特定の装置やアルゴリズムに言及しているが、この技術に精通した人なら本発明から離れない範囲で、例えば開示された方法を実現するためのコンピュータが実行する命令を格納する媒体であってコンピュータが利用可能である媒体など、数多くの代用可能な実施の形態や同等案が存在することがわかる。 したがって、本発明は上記の説明によって制限されるものではなく、付随する請求の範囲によって規定されるものと理解されるべきである。
【図面の簡単な説明】
【図1】人工ニューラル・ネットワークの主要部分を表示したもの。
【図2】人工ニューロンの3層のネットワークを示す。
【図3】パノラマ画像システムの歪みをモデルとする妥当な複雑さのネットワークを得るためのフローチャート。
【図4】本発明の実施の形態のブロック図。
【図5】パノラマ画像システムによって歪みをもつ環状パノラマ画像を生成する状態。
【図6】ユーザの入力データを用いて環状のパノラマ画像内の興味ある領域を定義する方法の図示。
【図7】環状のパノラマ画像から透視歪みを補正した画像を作るための線形変換の方法を示す図。
【図8】ニューラル・ネットワークを教示するための目盛りパターンを示す概念的なダイアグラム。
【図9】画素の矩形配列での対応位置上への環状パノラマ画像内の画素位置のマッピングを示す概念的なダイアグラム。
Claims (6)
- 歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整方法であって、
ニューラル・ネットワークを教示し、パノラマ画像システムの各視点と前記パノラマ画像システムによって取り込まれた歪みのあるパノラマ画像内の対応する位置とを関連させるステップと、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するステップと、
前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記配列の画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するステップと、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得るステップと、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するステップとを、
有し、
前記ニューラル・ネットワークを教示するステップが、
目盛りパターンが実質的に完全にパノラマ画像システムの視野を満たすように方向付けることが可能となるように次元及び形状があらかじめ定められている前記目盛りパターンであって、視覚的な目盛り点を定義する前記目盛りパターンを準備するステップと、
実質的に完全に前記視野を満たすよう前記目盛りパターンを配置し、前記目盛りパターンの歪みのあるパノラマ画像を取り込んで、目盛り画像を構成するステップと、
前記パノラマ画像システムに関して、前記目盛り点のそれぞれと、対応する視点とを関連づける第1のデータセットを生成するステップと、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第2のデータセットを生成するステップと、
前記第1のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行うステップと、
前記ニューラル・ネットワークから作成される各出力反応と、前記第2のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正するステップとを、
有する方法。 - 請求項1に記載の方法において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とする方法。 - 歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整装置であって、
実世界の景色を歪みのあるパノラマ画像として取り込むように調整されたパノラマ画像システムと、
前記パノラマ画像システムの視野を、前記パノラマ画像システムの各視点に対応する目盛り点によって満たすように、視覚的な前記目盛り点の配列を定義する目盛りパターンと、
ニューラル・ネットワーク、及び、パノラマ画像システムの各視点と、前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像内の対応する位置とを関連づけるために前記ニューラル・ネットワークを教示し、前記目盛りパターンの画像として取り込まれた目盛り画像を利用し、前記目盛り画像内で前記目盛り点が現れる各位置とともに前記目盛り点の前記視点に基づいて教示する教示手段と、
前記ニューラル・ネットワークの教示に続いて、前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像から抽出されたサブ画像を生成するための画素に対応しており、矩形に配列されている複数の画素を有する表示手段と、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するとともに、前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するデータ処理手段とを有し、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得て、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するように構成されており、
前記ニューラル・ネットワークを教示する前記教示手段が、
前記目盛り点のそれぞれと、対応する視点とを関連づける第1のデータセットを生成する手段と、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第2のデータセットを生成する手段と、
前記第1のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行う手段と、
前記ニューラル・ネットワークから作成される各出力反応と、前記第2のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正する手段とを、
有する装置。 - 請求項3に記載の装置において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とする装置。 - 歪みのあるパノラマ画像から歪みのないサブ画像を選択的に抽出することによる前記歪みのあるパノラマ画像の調整方法を実施する場合に実行されるコンピュータが実行可能な命令を記録するコンピュータが利用可能な記録媒体であって、
ニューラル・ネットワークを教示し、パノラマ画像システムの各視点と前記パノラマ画像システムによって取り込まれた歪みのあるパノラマ画像内の対応する位置とを関連させるステップと、
前記パノラマ画像システムによって取り込まれた任意の歪みのあるパノラマ画像の所望のサブ画像であって、表示装置の画素の矩形配列によって生成されたサブ画像に対して、中央の視点を特定するステップと、
前記パノラマ画像システムの分かっている視野と前記任意の歪みのあるパノラマ画像の配置とに基づいて、前記配列の画素のピッチに等しい前記配列の水平方向の距離を同量に置換された視点のアジマス角度で表し、前記画素のピッチに等しい前記配列の垂直方向の距離を同量に置換された視点の仰角で表し、前記同量に置換された視点及び前記中央の視点に基づいて、前記画素に対応する各視点を計算するステップと、
続いて前記計算された視点を前記ニューラル・ネットワークに入力し、前記任意の歪みのあるパノラマ画像内での対応する位置のそれぞれを指定する情報を得るステップと、
前記位置のそれぞれに対してそれぞれのビデオ特性を得て、前記画素の対応する位置に前記ビデオ特性を割り当てて前記サブ画像を生成するステップとを、
有し、
前記ニューラル・ネットワークを教示するステップが、
目盛りパターンが実質的に完全にパノラマ画像システムの視野を満たすように方向付けることが可能となるように次元及び形状があらかじめ定められている前記目盛りパターンであって、視覚的な目盛り点を定義する前記目盛りパターンを準備するステップと、
実質的に完全に前記視野を満たすよう前記目盛りパターンを配置し、前記目盛りパターンの歪みのあるパノラマ画像を取り込んで、目盛り画像を構成するステップと、
前記パノラマ画像システムに関して、前記目盛り点のそれぞれと、対応する視点とを関連づける第1のデータセットを生成するステップと、
前記目盛り点のそれぞれと、前記目盛り画像内で前記目盛り点が現れる対応する位置とを関連づける第2のデータセットを生成するステップと、
前記第1のデータセットから前記視点を表す続いて入力されるデータを、前記ニューラル・ネットワークに繰り返し教示する処理を行うステップと、
前記ニューラル・ネットワークから作成される各出力反応と、前記第2のデータセットから得られる前記目盛り画像内の対応する位置を示すデータとを比較して誤差の量を得て、前記誤差の量に所定のアルゴリズムを適用して、前記誤差の量が所定のレベルに達するまで前記教示する処理を続けて、前記ニューラル・ネットワークの内部パラメータを修正するステップとを、
有する方法を実施する場合に実行されるコンピュータが実行可能な命令を記録するコンピュータが利用可能な記録媒体。 - 請求項5に記載のコンピュータが利用可能な記録媒体において、
前記目盛りパターンが円筒の内面上で作成され、前記パノラマ画像システムが、前記目盛り画像を取り込む間に実質上前記円筒の軸と同一方向を向いている中心の光軸を持つ光学レンズユニットを有することを特徴とするコンピュータが利用可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000297723A JP3650578B2 (ja) | 2000-09-28 | 2000-09-28 | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム |
US09/695,881 US6671400B1 (en) | 2000-09-28 | 2000-10-26 | Panoramic image navigation system using neural network for correction of image distortion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000297723A JP3650578B2 (ja) | 2000-09-28 | 2000-09-28 | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002109531A JP2002109531A (ja) | 2002-04-12 |
JP3650578B2 true JP3650578B2 (ja) | 2005-05-18 |
Family
ID=18779804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000297723A Expired - Fee Related JP3650578B2 (ja) | 2000-09-28 | 2000-09-28 | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6671400B1 (ja) |
JP (1) | JP3650578B2 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100386090B1 (ko) * | 2001-04-02 | 2003-06-02 | 한국과학기술원 | 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법 |
US8130827B2 (en) * | 2004-08-13 | 2012-03-06 | Samsung Electronics Co., Ltd. | Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image |
US20090073255A1 (en) * | 2005-07-11 | 2009-03-19 | Kenichiroh Yamamoto | Video Transmitting Apparatus, Video Display Apparatus, Video Transmitting Method and Video Display Method |
JP2009503657A (ja) * | 2005-07-22 | 2009-01-29 | エル ターラー、ステフエン | ニューラルネットワークによるレーティングシステム |
EP1949313A4 (en) * | 2005-11-15 | 2010-03-31 | Bernadette Garner | METHOD FOR TRAINING NEURAL NETWORKS |
KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
US9307165B2 (en) * | 2008-08-08 | 2016-04-05 | Qualcomm Technologies, Inc. | In-camera panorama image stitching assistance |
US8947502B2 (en) * | 2011-04-06 | 2015-02-03 | Qualcomm Technologies, Inc. | In camera implementation of selecting and stitching frames for panoramic imagery |
US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
JP5896424B2 (ja) * | 2011-04-25 | 2016-03-30 | 光雄 林 | 全方位画像編集プログラム及び全方位画像編集装置 |
KR20140122292A (ko) | 2013-03-28 | 2014-10-20 | 삼성전자주식회사 | 디스플레이 장치의 디스플레이 방법 및 디스플레이 장치 |
TWI545523B (zh) * | 2013-08-30 | 2016-08-11 | 國立中央大學 | 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置 |
US9373057B1 (en) * | 2013-11-01 | 2016-06-21 | Google Inc. | Training a neural network to detect objects in images |
JP3214777U (ja) * | 2014-05-30 | 2018-02-08 | テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ | 全方位撮像装置 |
KR102381370B1 (ko) * | 2016-02-19 | 2022-03-31 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 |
WO2018027206A1 (en) | 2016-08-04 | 2018-02-08 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
US10169914B2 (en) * | 2016-08-26 | 2019-01-01 | Osense Technology Co., Ltd. | Method and system for indoor positioning and device for creating indoor maps thereof |
EP3511903A4 (en) * | 2016-09-12 | 2019-10-02 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL AND METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL |
US10262237B2 (en) * | 2016-12-08 | 2019-04-16 | Intel Corporation | Technologies for improved object detection accuracy with multi-scale representation and training |
US10607329B2 (en) * | 2017-03-13 | 2020-03-31 | Adobe Inc. | Illumination estimation from a single image |
WO2018194273A1 (en) * | 2017-04-21 | 2018-10-25 | Samsung Electronics Co., Ltd. | Image display apparatus and method |
KR102054947B1 (ko) * | 2017-04-21 | 2019-12-11 | 삼성전자주식회사 | 영상 표시 장치 및 영상 표시 방법 |
JP6799325B2 (ja) * | 2017-05-29 | 2020-12-16 | 地方独立行政法人東京都立産業技術研究センター | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム |
CN108564527B (zh) * | 2018-04-04 | 2022-09-20 | 百度在线网络技术(北京)有限公司 | 基于神经网络的全景图内容补全和修复的方法及装置 |
TWI681366B (zh) * | 2018-05-31 | 2020-01-01 | 廣達電腦股份有限公司 | 非線性延展裁切影像之方法及系統 |
KR102227583B1 (ko) * | 2018-08-03 | 2021-03-15 | 한국과학기술원 | 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치 |
CN111292234B (zh) * | 2018-12-07 | 2022-12-13 | 大唐移动通信设备有限公司 | 一种全景图像生成方法及装置 |
US11017499B2 (en) | 2018-12-21 | 2021-05-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
US10748032B1 (en) * | 2019-01-31 | 2020-08-18 | StradVision, Inc. | Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same |
CN111504331B (zh) * | 2020-04-29 | 2021-09-14 | 杭州环峻科技有限公司 | 一种由粗到细的全景智能车辆定位方法和装置 |
JP7446643B2 (ja) * | 2020-05-26 | 2024-03-11 | マプサス テクノロジー ホールディング リミテッド | 視覚測位方法、装置、機器及び可読記憶媒体 |
CN113658080B (zh) * | 2021-08-23 | 2023-12-22 | 宁波棱镜空间智能科技有限公司 | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
CN113450258B (zh) * | 2021-08-31 | 2021-11-05 | 贝壳技术有限公司 | 视角转换方法和装置、存储介质、电子设备 |
CN115358949A (zh) * | 2022-08-26 | 2022-11-18 | 腾讯音乐娱乐科技(深圳)有限公司 | 全景图像处理方法、计算机设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
HU192125B (en) | 1983-02-08 | 1987-05-28 | Budapesti Mueszaki Egyetem | Block of forming image for centre theory projection adn reproduction of spaces |
US4728839A (en) | 1987-02-24 | 1988-03-01 | Remote Technology Corporation | Motorized pan/tilt head for remote control |
US5185667A (en) | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
JPH05273459A (ja) | 1992-03-26 | 1993-10-22 | Nikon Corp | 近距離補正機能を備えた魚眼レンズ |
US5796426A (en) | 1994-05-27 | 1998-08-18 | Warp, Ltd. | Wide-angle image dewarping method and apparatus |
US6263103B1 (en) * | 1998-11-30 | 2001-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Estimating scenes using statistical properties of images and scenes |
-
2000
- 2000-09-28 JP JP2000297723A patent/JP3650578B2/ja not_active Expired - Fee Related
- 2000-10-26 US US09/695,881 patent/US6671400B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002109531A (ja) | 2002-04-12 |
US6671400B1 (en) | 2003-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3650578B2 (ja) | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム | |
CN100437639C (zh) | 图像处理装置和图像处理方法 | |
US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
US7215364B2 (en) | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array | |
WO2019049421A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
JP4828779B2 (ja) | 高速デジタルパンチルトズームビデオ | |
JP4661829B2 (ja) | 画像データ変換装置、及びこれを備えたカメラ装置 | |
TW202004679A (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
JP5046132B2 (ja) | 画像データ変換装置 | |
JP2012053602A (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
CN106910173B (zh) | 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法 | |
WO2002019270A1 (fr) | Procede de conversion d'image courbe et support d'enregistrement sur lequel ce procede de conversion d'image courbe est enregistre | |
JP5029645B2 (ja) | 画像データ変換装置 | |
KR20190008306A (ko) | 렌즈 이미지를 파노라마 이미지로 전개하는 방법 및 장치 | |
KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
Ho et al. | Sensor geometry and sampling methods for space-variant image processing | |
JP5664859B2 (ja) | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 | |
KR102146839B1 (ko) | 실시간 가상현실 구축을 위한 시스템 및 방법 | |
JP3387900B2 (ja) | 画像処理方法及び装置 | |
JP4925112B2 (ja) | 自由視点画像の生成方法 | |
Jeng et al. | Construction of perspective and panoramic images from omni-images taken from hypercatadioptric cameras for visual surveillance | |
JP7320660B1 (ja) | 全方位画像の物体検出装置、および、全方位画像の物体検出方法 | |
JPH0877389A (ja) | 3次元形状モデル生成装置 | |
WO2022044806A1 (ja) | 情報処理装置および方法 | |
JPS61138377A (ja) | 3次元デジタル画像入力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050218 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |