JP3975736B2 - 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents
画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP3975736B2 JP3975736B2 JP2001375035A JP2001375035A JP3975736B2 JP 3975736 B2 JP3975736 B2 JP 3975736B2 JP 2001375035 A JP2001375035 A JP 2001375035A JP 2001375035 A JP2001375035 A JP 2001375035A JP 3975736 B2 JP3975736 B2 JP 3975736B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vector
- image
- ray
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 93
- 238000003672 processing method Methods 0.000 title claims description 26
- 238000004590 computer program Methods 0.000 title claims description 20
- 239000013598 vector Substances 0.000 claims description 150
- 238000005457 optimization Methods 0.000 claims description 72
- 238000000034 method Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000007787 solid Substances 0.000 claims description 5
- 238000013386 optimize process Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 45
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000002079 cooperative effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、複数の撮影画像を貼り合わせる画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、複数のカメラを用いて空間上の隣接する領域を撮影した画像同士を貼り合わせる画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0002】
さらに詳しくは、本発明は、レンズ歪みやカメラ・モデルが異なるさまざまなカメラの撮影画像を貼り合わせ処理する画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、画像の劣化を抑えて複数の撮影画像を貼り合わせ処理する画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】
ユーザの周囲の風景画像を提供する装置として全方位カメラが知られている。この種の全方位映像システムは、例えば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される。複数のカメラからなる全方位映像システムは、隣り合うカメラの撮像画像の境界同士をうまく貼り合わせることによって、個々のカメラの視野よりもはるかに広い領域の画像を、あたかも単一の広角度カメラで撮像したかのような画像を生成する画像処理を行う。
【0004】
視野角の広いレンズを用いればカメラは広範囲を撮像することができるが、その分だけ解像度が低下して細部が見えづらくなる。これに対し、全方位映像システムによれば、広範囲の撮像画像を高解像度のまま提供することができる。
【0005】
このような全方位型の映像を用いることにより、視点自由形の映像を視聴することができる。例えば、キャラクタ(登場人物)が空間を自由に動き回るようなテレビ・ゲームにおいて、任意の視点からの背景画面を表示させることができるので、より現実的な映像を介してゲームを楽しむことができ、エンターティンメント性が高まる。
【0006】
また、全方位映像は、通常の映像に比し大容量であるが、インタラクティブ性に優れていることから、ブロードバンド・ネットワーク時代の新しいコンテンツとして有望である。
【0007】
ところで、実在するカメラの多くは、ピンホールカメラ・モデルによる中心投影を理想とする。中心投影とは、投影中心と3次元物体表面の点とを結ぶ直線(「視線」とも言う)とカメラの投影スクリーンとの交点に物体表面の点の色濃度値を配置していくことで、投影画像を形成する。中心投影では、同じ大きさの物体であっても、カメラの投影中心に近づくにつれて大きな像として投影され、逆に、投影中心から遠ざかるにつれて小さく投影される性質を持つ。
【0008】
また、理想的なピンホールカメラ・モデルでは、同じ視線上の点は、カメラの投影中心からの距離の遠近に拘らず、投影スクリーン(すなわち撮像面)上の同じ位置に投影される性質を持つ。したがって、隣り合うカメラの撮像画像を、互いのカメラの投影中心が一致するように配設することによって、各カメラ間で視線を共有することになる。この結果、異なるカメラを用いながら、事実上、単一のカメラで同じ場所から眺めていることに等しくなる。すなわち、隣り合うカメラにおいて重なり合う撮像領域において、任意の場所を画像間の境界として指定しても、撮像画像同士は滑らかに貼り合わされる。
【0009】
例えば、Yalin Xiong,Ken Turowski共著の論文"Registration, Calibration and Blending in Creating High Quality panoramas"(Fourth IEEE Workshop on Applications of Computer Vision, pp.69-74,1998)や、Heung-Yeung Shum及びRichard Szeliski共著の論文"Construction of Panoramic mosaics with global and local alignment"(International Journal of Computer Vision, 36(2):101-130, 2000)、並びに、米国特許第6,157,747号明細書などには、理想的なピンホール・カメラを用いて撮影した隣接画像をつなぎ合わせる技術について提案されている。また、Satyan Coorg及びSeth Teller共著の論文"Spherical Mosaics with Quaternions and Dense Correlation"(International Journal of Computer Vision, 37(3):259-273,2000)には、レンズ歪みを無視して多数の撮像画像を貼り合わせる技術について提案されている。
【0010】
しかしながら、現実には、理想的なピンホール・カメラはあまり存在せず、レンズは通常無視し難い歪みを持っている。また、カメラは一般に容積を持つので、撮像中心がただ1つの点に集中するように複数のカメラを配設することはそもそも物理的に不可能である。また、3以上のカメラの撮像中心が3次元空間上で一致するように組み立てることも、極めて困難な作業を必要とする。
【0011】
例えばR. Swaminathan及びS. Nayar共著の論文" Non-Metric Calibration of Wide Angle Lenses and Polycameras"(IEEE Journal on Pattern Analysis and Machine Intelligence, pp.1171-1178,2000)には、直径方向並びに接線方向にレンズ歪みを持つカメラ・モデルにおける、上述した画像貼り合わせの問題を解くために、各カメラの撮影画像を一旦ピンホール画像に変換してから貼り合わせることを提案している。しかしながら、この場合、複数の画像フレームをつなぎ合わせた全方位映像を完成させるために、ピンホール画像への変換時及び画像貼り合わせ時、すなわち合計2回も画素補間を行わなければならず、画像の劣化が激しくなる。
【0012】
なお、Y.Xiong及びK.Turkowski共著の論文"Creating image-based VR using a self-calibrating fisheye lens"(IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.237-243, 1997)には、ピンホール・レンズ以外のレンズとして魚眼レンズによる撮影画像の貼り合わせ技術について提案されている。
【0013】
また、R. Y. Tsai著の論文"A versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses"(IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, pp.323-344, 1987)には、さまざまなカメラ・モデル画持つレンズの歪みパラメータを高速で且つ高精度に計算する技術について提案されている。
【0014】
【発明が解決しようとする課題】
複数のカメラからの撮影画像を貼り合せて全方位画像を構築するためには、各カメラは理想的なピンホール・カメラであることが好ましい。このため、各カメラからの入力画像に対して、レンズ歪み除去並びにピンホール画像への変換を行った後に貼り合わせる必要があるが、画素補間を2回以上繰り返すことになり画質の劣化が激しくなる。また、ピンホール・カメラの視野角はせいぜい180゜でしかない。
【0015】
また、内部パラメータや歪みパラメータの異なるカメラ画像同士はうまく貼り合わせることができないので、貼り合わせる元画像を同じレンズ・モデルのカメラからの撮影画像のみで統一させる必要がある。言い換えれば撮影システムのデザイン構成上の融通性が効かない。
【0016】
カメラ画像の貼り合せ易さを考慮して、全方位映像を1つのカメラで数ヶ所を撮影した複数の映像のみで構成することも可能である。例えば、S.E.Chen著の論文"QuickTime VR - an image- based approach to virtual environment navigation"(Computer Graphics (SIGGRAPH '95), pp.29-38, Aug. 1995)には、1つのカメラで数ヶ所を撮影した複数の映像のみで全方位映像を構成する技法について記載されている。しかしながら、これではリアルタイムで各撮影方向の映像を同時に撮影し供給するような場合には対応できない。
【0017】
本発明は上述したような技術的課題を勘案したものであり、その主な目的は、複数のカメラを用いて空間上の隣接する領域を撮影した画像同士を好適に貼り合わせることができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0018】
本発明の更なる目的は、レンズ歪みやカメラ・モデルが異なるさまざまなカメラの撮影画像を好適に貼り合わせ処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0019】
本発明の更なる目的は、レンズ歪みやカメラ・モデルが異なるさまざまなカメラの撮影画像を、ピンホール・カメラなど他のカメラモデルの撮影画像に変換したりして画像を劣化させることなく貼り合わせ処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【0020】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、カメラにより撮影された複数の画像フレームを貼り合わせる画像処理装置又は画像処理方法であって、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出手段又はステップと、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化手段又はステップと、
を具備することを特徴とする画像処理装置又は画像処理方法である。
【0021】
本発明の第1の側面に係る画像処理装置又は画像処理方法によれば、2枚の画像間で画素値が一致しているかではなく、投影平面上の対応点に対する光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを行う。したがって、カメラ・モデル及びカメラの歪みパラメータをも考慮して光線ベクトルを生成することにより、同じカメラ・レンズや歪みパラメータを持つカメラを用いる必要がなく、異なるカメラ・モデルの撮影画像同士を貼り合わせることができる。
【0022】
なお、ここで言う光線ベクトルに基づく情報の誤差とは、例えば、2つの光線ベクトルのなす角を表したり、あるいは、各光線ベクトルが指し示す画素の輝度又は画素値の相違などのことを意味する。
【0023】
また、本発明の第1の側面に係る画像処理装置又は画像処理方法によれば、画素値の比較ではなく対応画素間での光線ベクトルに基づく情報の誤差が最小となるように画像を貼り合わせるので、撮影画像をピンホール画像などに一旦変換する必要はない。また、元の撮影画像から直接貼り合せていくことができるので、画素の劣化を抑制することができる。
【0024】
ここで、前記光線ベクトル算出手段又はステップは、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点の投影平面上の座標とこれに対応する光線ベクトルの対応関係を記述した「メッシュ・カメラ」をあらかじめ生成しておくようにしてもよい。
【0025】
このような場合、前記最適化手段又はステップは、ポリゴンの頂点における光線ベクトルを基にポリゴン内の各点についての投影平面上の座標値を光線ベクトルへ変換する変換関数を求めて、該変換関数を用いて特徴点における光線ベクトルを算出することができる。
【0026】
また、前記最適化手段又はステップは、最適化の第1段階として、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算して、該変換関数を固定したまま各特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像フレーム単位を回転させて、撮影画像の投影平面上ではなく光線座標系で最適化処理を行うようにしてもよい。
【0027】
また、前記最適化手段又はステップは、最適化の第2段階として、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算するとともに、該変換関数を可変にして各特徴点における光線ベクトルに基づく情報の誤差が最小となるようにポリゴン単位で最適化処理を行うようにしてもよい。
【0028】
また、前記最適化手段又はステップは、最適化の第3段階として、各画素が持つ光強度と、各画素が持つ信頼性と、出力フォーマット面上で各画素が持つ立体角とを考慮して、各画素における光線ベクトルに基づく情報の誤差が最小となるように画素単位で最適化処理を行うようにしてもよい。
【0029】
また、本発明の第2の側面は、カメラによって撮影された画像フレームにおいて画素値が既知の複数の頂点で囲まれた点についての画素値を補間する画像処理装置又は画像処理方法であって、
撮影に使用したカメラによる投影平面上の補間対象点及びこれを囲む各頂点に投影される光線ベクトルを算出する光線ベクトル算出手段又はステップと、
各頂点の光線ベクトルを使って補間対象点の画素値を補間する画素値補間補間手段又はステップと、
を具備することを特徴とする画像処理装置又は画像処理方法である。
【0030】
一般に、整数以外の点における画素値などは、線形補間などにより画素値が既知の複数の画素を利用して補間処理が行われる。このとき、撮影画像の投影平面上で補間を行うと、使用したカメラ・モデルCやその歪みパラメータの影響を受けることになる。これに対し、本発明の第2の側面に係る画像処理装置又は画像処理方法のように光線ベクトルを用いて補間を行うことにより、これらからの影響を排除することができる。
【0031】
また、本発明の第3の側面は、カメラにより撮影された複数の画像フレームを貼り合わせる処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出ステップと、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化ステップと、
を具備することを特徴とする記憶媒体である。
【0032】
また、本発明の第4の側面は、カメラによって撮影された画像フレームにおいて画素値が既知の複数の頂点で囲まれた点についての画素値を補間する処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
撮影に使用したカメラによる投影平面上の補間対象点及びこれを囲む各頂点に投影される光線ベクトルを算出する光線ベクトル算出ステップと、
各頂点の光線ベクトルを使って補間対象点の画素値を補間する画素値補間補間ステップと、
を具備することを特徴とする記憶媒体である。
【0033】
本発明の第3及び第4の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、DVD(Digital Versatile Disc)、CD(Compact Disc)やFD(Flexible Disk)、MO(Magneto-Optical disc)などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク(ネットワークは無線、有線の区別を問わない)などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【0034】
本発明の第3及び第4の各側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第3及び第4の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0035】
また、本発明の第5の側面は、カメラにより撮影された複数の画像フレームを貼り合わせる処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出ステップと、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0036】
また、本発明の第6の側面は、カメラによって撮影された画像フレームにおいて画素値が既知の複数の頂点で囲まれた点についての画素値を補間する処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
撮影に使用したカメラによる投影平面上の補間対象点及びこれを囲む各頂点に投影される光線ベクトルを算出する光線ベクトル算出ステップと、
各頂点の光線ベクトルを使って補間対象点の画素値を補間する画素値補間補間ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0037】
本発明の第5及び第6の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第3の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1及び第2の各側面に係る画像処理装置又は画像処理方法と同様の作用効果を得ることができる。
【0038】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0039】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【0040】
本発明は、複数のカメラを用いて撮影された空間上の隣接する領域の撮影画像同士を貼り合せていくものであり、例えば、空間中のある1つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ・システムにおいて各カメラの撮影画像を貼り合せていくような処理に適用することができる。
【0041】
本発明では、2枚の画像間で画素値が一致しているかではなく、投影平面上の対応点に対する光線ベクトルに基づく情報の誤差を用いて画像の貼り合わせを行う。カメラ・モデル及びカメラの歪みパラメータをも考慮して光線ベクトルを生成することにより、同じカメラ・レンズや歪みパラメータを持つカメラを用いる必要がなく、異なるカメラ・モデルの撮影画像同士を貼り合わせるすることができる。勿論、画素値の比較ではなく対応画素間での光線ベクトルに基づく情報の誤差が最小となるように画像を貼り合わせるので、撮影画像をピンホール画像などに一旦変換する必要はなく、元の撮影画像から直接貼り合せていくことができるので、画素の劣化を抑制することができる。ここで言う光線ベクトルに基づく情報の誤差とは、例えば、2つの光線ベクトルのなす角を表したり、あるいは、各光線ベクトルが指し示す画素の輝度又は画素値の相違などのことを意味する。
【0042】
図1には、本発明に係る画像処理の処理手順全体を概略的に示している。同図に示すように、この処理手順は、複数のカメラによる画像入力と、撮影画像の加工と、メッシュ・カメラ(後述)の作成と、画像の貼り合わせ、並びに画像保存で構成される。画像保存に際しては、画像の貼り合わせ時に使用したパラメータも合わせて保存しておく。
【0043】
図2には、空間上の複数の領域を並行して撮影するカメラ・システムの一例としての全方位撮影装置の外観構成を示している。この全方位撮影装置は、所定の円周方向に略等間隔に配列された8台のカメラと、各カメラ毎にその視線方向に配設された8枚の平面鏡が8角錐上に配設された反射部とで構成される。ここで、各カメラの投影中心が全方位撮影装置の中央付近でほぼ一致するように、且つ、各カメラの視線方向が1つの水平面上で所定角度間隔を置くように、各カメラが配設されている。各平面鏡で反射された周囲の情景を、反射方向に向けられたカメラで撮影することにより、全方位撮影装置全体としては、水平方向360度の映像の鏡像を撮影することができる。各カメラの映像を反転、貼り合わせなどの処理を行うことにより、水平方向の全方位画像が得られる。本実施形態では、各カメラが同じカメラ・モデルであることや同じパラメータを共有することは必須ではない。
【0044】
また、図22には、他の実施形態に係る全方位撮影装置の外観構成を示している。この全方位撮影装置は、12個の略正5角形の構成面からなる略正十二面体(Dodecahedron)形状のフレームと、該フレームの各面上に1台ずつ配備された11台のカメラ…で構成される。各カメラは、周囲の風景のうち、それぞれが担当する領域を撮像して周囲画像の一部として供給することができる。台座の一側面からは、各カメラによる撮像画像データを外部出力するためのケーブル類が接続されている。各カメラの映像を貼り合わせることにより、全天球型の全方位画像が得られる。各カメラは、投影中心を持つピンホール・タイプのカメラであることが好ましいが、本実施形態では、カメラのモデルや歪みパラメータは任意でよい。勿論、正十二面体の各構成面上に配設されたカメラがすべて同じカメラ・モデルを持つ必要はない。
【0045】
また、図3には、図2又は図22に示したような全方位撮影装置から同時・並行して出力される複数の画像フレームを処理する全方位画像処理装置の構成を模式的に示している。同図に示すように、各カメラにそれぞれVTRを接続することにより、合計8本の映像(及び音声)ストリームを記録することができる。これら記録された映像ストリームを、切換器を介してビデオ・キャプチャリングして、コンピュータ・データ(ビットマップ・ファイル)として、全方位画像処理装置に取り込むことができる。
【0046】
この全方位画像処理装置内では、撮影画像の加工と、メッシュ・カメラの構築と、画像の貼り合わせ、画像保存などの画像処理が行われる。
【0047】
撮影画像の加工とは、それぞれの撮影画像を、後続の画像処理工程で扱い易くするような加工・前処理を行う。例えば、図2に示したような撮影装置の場合、各カメラは反射ミラーによる反転画像を捕捉するようになっているので、それをさらに反転処理して元の画像に再現する。また、カラー、露出、コントラストなどの特性を量子化する。また、焦点、詳細部、端縁部の向上を図るとともに、高周波成分やその他の人工的な成分の除去、ガンマ色補正などを行う。
【0048】
メッシュ・カメラは、画素値の比較ではなく、画素に投影される光線ベクトルの一致度で画像の貼り合わせ処理を行うために、本発明者によって新しく導入された概念である。メッシュ・カメラは、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点(x,y)とこれに対応する光線ベクトル(θφ極座標系で表すことにする)の対応関係で構成される。メッシュ・カメラはカメラ・モデル毎に構成が異なる(この場合のカメラ・モデルには、カメラの歪みパラメータを含んで扱うようにしてもよい)。メッシュ・カメラの具体的な構築方法については後述に譲る。
【0049】
なお、メッシュ・カメラにおいては、ポリゴンの頂点以外の点については、投影平面上の位置(x,y)と対応する光線ベクトル(θ,φ)との関係は定義されない。頂点以外の点については、その点が含まれているポリゴンの各頂点を用いて補間処理される(後述)。
【0050】
隣接する画像同士の貼り合せは、例えば、手動又は自動で各画像フレーム中から複数の特徴点を抽出して、特徴点の対応がとれているか否かに応じて処理がなされる。例えば、本出願人に既に譲渡されている特開2000−215317号公報には、オーバーラップする2枚の画像フレームから対応する特徴点を自動的に抽出する画像処理方法及び画像処理装置について開示されている。すなわち、画像処理装置10は、2以上の画像のそれぞれについての特徴点を抽出し、2以上の画像のうち、一の画像と他の画像との特徴点を比較してマッチングを行い、このマッチングの結果に基づいて、一の画像と他の画像との位置関係を変化させるように演算を行い、2以上の画像を合成する。
【0051】
従来、画像フレーム間での特徴点の比較は、画素値を基に行うのが一般的であった。これに対し、本発明では、メッシュ・カメラを用いて特徴点の光線ベクトルを求め、対応点間で光線ベクトルに基づく情報の誤差が最小となるように貼り合せていくことを特徴とする。ここで言う光線ベクトルに基づく情報の誤差とは、例えば、2つの光線ベクトルのなす角を表したり、あるいは、各光線ベクトルが指し示す画素の輝度又は画素値の相違などのことを意味する。
【0052】
撮影画像の投影平面上の画素値で特徴点を比較する場合には、カメラの歪みパラメータの影響を除去していなければ意味がなく、また、カメラ・モデルが相違する場合には画像同士を比較することさえ困難である。これに対し、本発明によれば、特徴点同士を光線ベクトルで比較しているので、画像の3次元的な位置関係を取り戻すことができ、カメラ・モデルの相違に影響されない。また、歪みパラメータの影響を考慮してメッシュ・カメラを構築することによって、歪みパラメータの影響を除去することができる。
【0053】
図21には、全方位画像処理装置として適用されるコンピュータ・システム100の構成を模式的に示している。以下、この図を参照しながら、コンピュータ・システム100について説明する。
【0054】
システム100のメイン・コントローラであるCPU(Central Processing Unit)101は、オペレーティング・システム(OS)の制御下で、各種のアプリケーションを実行する。CPU101は、例えば、複数のカメラによる撮像画像の貼り合わせを行うための、各カメラのカメラ・モデルやレンズ歪みに基づくメッシュ・カメラの生成や、メッシュ・カメラを用いた画像貼り合わせの最適化処理などの画像処理を行うアプリケーション・プログラムを実行することができる。図示の通り、CPU101は、バス108によって他の機器類(後述)と相互接続されている。
【0055】
メモリ102は、CPU101において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ102は、ROMなどの不揮発性メモリ及びDRAMなどの揮発性メモリの双方を含むものと理解されたい。
【0056】
ディスプレイ・コントローラ103は、CPU101が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ103において処理された描画データは、例えばフレーム・バッファ(図示しない)に一旦書き込まれた後、ディスプレイ111によって画面出力される。
【0057】
入力機器インターフェース104は、キーボード112やマウス113などのユーザ入力機器をコンピュータ・システム100に接続するための装置である。
【0058】
ネットワーク・インターフェース105は、Ethernetなどの所定の通信プロトコルに従って、システム100をLAN(Local Area Network)などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【0059】
ネットワーク上では、複数のホスト端末(図示しない)がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、複数のカメラによる撮像画像の貼り合わせを行うための、各カメラのカメラ・モデルやレンズ歪みに基づくメッシュ・カメラの生成や、メッシュ・カメラを用いた画像貼り合わせの最適化処理などの画像処理を行うアプリケーションを、ネットワーク経由でダウンロードすることができる。また、このような画像処理アプリケーションによって生成された全方位画像などの画像データや、最適化処理に用いるメッシュ・カメラに関するデータやその他のライブラリをネットワーク経由で配信することもできる。
【0060】
外部機器インターフェース107は、ハード・ディスク・ドライブ(HDD)114やメディア・ドライブ115などの外部装置をシステム100に接続するための装置である。
【0061】
HDD114は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり(周知)、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でHDD114上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDD114には、CPU101が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【0062】
例えば、複数のカメラによる撮像画像の貼り合わせを行うための、各カメラのカメラ・モデルやレンズ歪みに基づくメッシュ・カメラの生成や、メッシュ・カメラを用いた画像貼り合わせの最適化処理などの画像処理を行うアプリケーション・プログラムを、HDD114上にインストールすることができる。また、このような画像処理アプリケーションの処理対象となる撮影画像や、所定の出力フォーマットに貼り合わせられた画像、最適化処理に用いるメッシュ・カメラに関するデータやその他のライブラリをHDD114上に保存することもできる。
【0063】
メディア・ドライブ115は、CD(Compact Disc)やMO(Magneto-Optical disc)、DVD(Digital Versatile Disc)などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【0064】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動(すなわち販売・流通・配布を含む)する目的で使用される。例えば、複数のカメラによる撮像画像の貼り合わせを行うための、各カメラのカメラ・モデルやレンズ歪みに基づくメッシュ・カメラの生成や、メッシュ・カメラを用いた画像貼り合わせの最適化処理などの画像処理を行うアプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、このような画像処理アプリケーションの処理対象となる撮影画像や、所定の出力フォーマットに貼り合わせられた画像、最適化処理に用いるメッシュ・カメラに関するデータやその他のライブラリを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【0065】
ビデオ・キャプチャ・カード109は、全方位撮影装置11からの入力信号、すなわち切り換え器を介して接続される各VTRから再生されるビデオ信号をコンピュータ・データ(ビットマップ・ファイル)としてコンピュータ内に取り込むための装置である。
【0066】
なお、図21に示すようなコンピュータ100の一例は、米IBM社のパーソナル・コンピュータ"PC/AT(Personal Computer/Advanced Technology)"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係るコンピュータ100として適用することも可能である。
【0067】
メッシュ・カメラの構築
メッシュ・カメラは、画像の3次元的な位置関係を基に画素に投影される光線ベクトルの一致度により画像貼り合わせの最適化処理を行うために新しく導入された概念である。メッシュ・カメラは、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点(x,y)とこれに対応する光線ベクトル(θφ極座標系で表すことにする)の対応関係で構成される。
【0068】
図4には、メッシュ・カメラを生成するための処理手順をフローチャートの形式で示している。
【0069】
まず、ステップS1において、カメラ・モデルCを取得する。カメラ・モデルDの定義とは、投影平面上の点(x,y)に投影される光線ベクトル(θφ極座標系で表すことにする)を求めるImageToRay関数と、光線ベクトルθφから投影平面に投影される位置(x,y)を求めるRayToImage関数を定義することである。
【0070】
次いで、ステップS2では、カメラの投影平面上にk1×k2個の格子点からなるポリゴンを生成する。この結果、2(k1−1)×(k2−1)個の三角形とk1×k2個の頂点が生成されたことになる。
【0071】
次いで、ステップS3では、各頂点(i,j)について、ImageToRay関数を用いて対応する光線ベクトル(θ,φ)を逐次算出していく。
【0072】
そして、ステップS4では、カメラの投影平面上の個々の頂点(x,y)とそのθφ極座標系で記述された光線ベクトル(φ,θ)との対応関係を記述したデータ(x,y,θ,φ)を生成する。このようにしてできた(x,y)⇔(θ,φ)対応表がメッシュ・カメラとなる。
【0073】
メッシュ・カメラを用いることにより、カメラの投影平面上の任意の点における光線ベクトルを比較的高速に求めることができる。すなわち、メッシュ・カメラを用いることにより、2つの画像フレーム間で対応する点を光線ベクトルに基づく情報の誤差から求めることができるようになる。ここで言う光線ベクトルに基づく情報の誤差とは、例えば、2つの光線ベクトルのなす角を表したり、あるいは、各光線ベクトルが指し示す画素の輝度又は画素値の相違などのことを意味する。
【0074】
メッシュ・カメラはカメラ・モデル毎に構成が異なる。メッシュ・カメラを定義することにより、多数の異なるカメラ・システム間で撮影画像の貼り合わせが可能となる。
【0075】
メッシュ・カメラは、カメラ・モデルCの定義であるImageToRay及びRayToImage関数を用いて計算することができる。以下では、幾つかのカメラ・モデルについてのImageToRay関数及びRayToImage関数について説明する。
【0076】
ピンホール・カメラ
ピンホール・カメラは中心投影を基本とするので、焦平面(但し、焦点距離をfとする)上の点(x,y,f)と任意の投影平面上の対応点(X,Y,Z)との間には、下式が成立する。但し、投影中心を原点Oとする(図5を参照のこと)。
【0077】
【数1】
【0078】
また、投影中心から点(x,y,f)へ向かう光線ベクトルをθφ極座標表示したとき、θ及びφは下式のように書くことができる(図6を参照のこと)。
【0079】
【数2】
【0080】
したがって、ピンホール・カメラにおいては、投影平面上の点(x,y)に投影される光線ベクトルを求めるImageToRay関数と、光線ベクトルθφから投影平面に投影される位置(x,y)を求めるRayToImage関数は、それぞれ下式のように書き表される。
【0081】
【数3】
【0082】
魚眼レンズ
魚眼レンズの場合、レンズ中心を(Cx,Cy)とし、投影平面上の点(x,y)とレンズ中心の間の距離をrとして(図7を参照のこと)、rの関数F(r)を定義すると、投影平面上の点(x,y)に投影される光線ベクトルを求めるImageToRay関数と、光線ベクトルθφから投影平面に投影される位置(x,y)を求めるRayToImage関数は、それぞれ下式のように書き表される。
【0083】
【数4】
【0084】
関数Fは下式のように定義される。
【0085】
【数5】
【0086】
Tsaiのカメラ・モデル
Tsaiのカメラ・モデルは、レンズ歪みを考慮したレンズであり、すべてのカメラ・パラメータ、すなわち内部パラメータ、外部パラメータ、歪みパラメータを同時に算出することを可能とするものである(例えば、Roger Y. Tsai著の論文"An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision"(1986,IEEE)を参照のこと)。
【0087】
Tsaiのカメラ・モデルは、レンズの中心位置(Cx,Cy)と、投影平面のアスペクト比ayと、半径方向の歪み係数κで定義される。これに対し、歪みのない理想的なピンホール・カメラのカメラ・モデルは、主点(px,py)と、XY各軸方向の焦点位置(fx,fy)で定義される。
【0088】
図8には、Tsaiのカメラ・モデルにおけるImageToRay関数を求めるための処理手順をフローチャートの形式で示している。
【0089】
まず、投影平面上において理想的なピンホールによって投影された点とTsaiレンズによって投影された点(x,y)との関係を求める(ステップS11)。なお、このステップでは、Tsaiモデルの投影平面上の点からピンホール画像上の対応座標を計算するが、ピンホール画像への画像変換を行う訳ではないので、画質劣化を生じない。
【0090】
【数6】
【0091】
次いで、3次元上の単位球において光線ベクトルPθ , φを設定する(ステップS12)。3次元θφ極座標系の光線ベクトルPθ , φをXYZ直交座標系と同次座標で表現すると下式のようになる。
【0092】
【数7】
【0093】
そして、点Pφ , θを基に、Tsaiのカメラ・モデルによる投影平面上の点(x,y)に対する光線ベクトルをθφ極座標系で表すことができる(ステップS13)。
【0094】
【数8】
【0095】
また、図9には、Tsaiのカメラ・モデルにおけるRayToImage関数を求めるための処理手順をフローチャートの形式で示している。
【0096】
まず、光線ベクトルの単位球面上の極座標値(θ,φ)を3次元直交座標系上の位置Pθ , φに変換する(ステップS21)。
【0097】
【数9】
【0098】
次いで、この光線ベクトルPθ , φを、以下の式に示すような理想的なピンホール座標値に変換する(ステップS22)。
【0099】
【数10】
【0100】
そして、所定の多次元方程式を解くことによって、理想的なピンホール画像上の点からTsaiモデルの原画像の座標(x,y)を計算する(ステップS23)。なお、このステップでは、ピンホール画像上の座標位置Tsaiモデルの投影平面上の対応点を計算するが、ピンホール画像からの画像変換を行う訳ではないので、画質劣化を生じない。
【0101】
【数11】
【0102】
これは、以下の多次元方程式を解くことに相当する。
【0103】
【数12】
【0104】
多次元方程式の解が複数ある場合には、理想的な半径により近いものを選択する。次式には、選択された解を示している。
【0105】
なお、上記の式[数12]では、歪みパラメータをκ1つで表しているが、使用したカメラが複数の歪みを持つ場合には、歪みパラメータの個数を増やすとともに、さらに高次の方程式を立てるようにしてもよい。
【0106】
【数13】
【0107】
変換関数( Transfer Function )W T
上述したメッシュ・カメラは、カメラ・モデルCの投影平面上に設定された無数のポリゴンの各頂点位置(x,y)においては、其処へ投影する光線のベクトル(θ,φ)を求めたり、カメラ・モデルCの光線ベクトルθφを与えると投影平面上の投影位置(x,y)を求めることができる。すなわち、メッシュ・カメラは、投影位置(x,y)と光線ベクトル(θ,φ)との対応表である。
【0108】
但し、メッシュ・カメラは、ポリゴンの頂点以外のデータを持たないので、頂点以外で特徴点が抽出される多くの場合にはメッシュ・カメラからその光線ベクトルを直接求めることはできない。このような場合には、特徴点を含むポリゴンの各頂点が持つ光線ベクトルを用いて、その内部の点についての光線ベクトルの幾何学的な補間処理を行う。
【0109】
例えば、図10に示すように3つの頂点V1(x1,y1),V2(x2,y2),及びV3(x3,y3)からなるポリゴンTの中に特徴点(x,y)が含まれているとする(すなわち、(x,y)∈T)。
【0110】
ここで、各頂点V1,V2,及びV3においてメッシュ・カメラにより定義されている光線ベクトルを3次元XYZ直交座標系でそれぞれP1(X1,Y1,Z1),P2(X2,Y2,Z2),P3(X3,Y3,Z3)とおく。但し、P1,P2,P3は、正規化された単位ベクトルであるとする。ここで、各光線ベクトルP1,P2,及びP3から各頂点V1,V2,及びV3のXY座標をに変換することができる変換関数WTが近似的に成立すると仮定する。すなわち、
【0111】
【数14】
【0112】
このような場合、各式を足し合わせることにより、次式が導き出される。
【0113】
【数15】
【0114】
ここで、WTは、このポリゴンTに属するすべての点(x,y)(∈T)を光線ベクトルPθ , φから近似的に変換する変換関数である。変換関数WTは、例えば下式により求まる。
【0115】
【数16】
【0116】
また、ポリゴンT内の点(x,y)の光線ベクトルPθ , φは、下式により求められる。
【0117】
【数17】
【0118】
画像の貼り合わせ(Registration)
上述のようにして求められたメッシュ・カメラを用いて画像の貼り合わせを行う。
【0119】
画像の貼り合わせは、貼り合わせる2枚の画像フレームの各々から複数の特徴点を抽出するとともに、それぞれ対応する特徴点が持つ光線ベクトルに基づく情報の誤差が最小となるように最適化処理(Optimization)を行う。ここで言う光線ベクトルに基づく情報の誤差とは、例えば、2つの光線ベクトルのなす角を表したり、あるいは、各光線ベクトルが指し示す画素の輝度又は画素値の相違などのことを意味する。
【0120】
また、最適化処理は、▲1▼特徴点から得られる光線ベクトルを固定して、画像フレーム単位で行う第1の最適化と、▲2▼光線ベクトルすなわち変換関数WTも可変として、ポリゴン単位で行う第2の最適化と、▲3▼画像貼り合わせ後の出力フォーマットを考慮した画素単位で行う第3の最適化という、3段階の最適化を行う。
【0121】
まず、最初に最適化の原理について簡単に説明する。
【0122】
例えば図11に示すように、所定の撮影空間上で隣接する画像フレームIA及びIBがあり、且つ、各画像フレームIA及びIBの各々から、複数の特徴点a1,a2,…及びb1,b2,…が抽出されているとする。ここでは、説明の便宜上、特徴点a1,a2,…及びb1,b2,…は、画像フレーム上のxy2次元直交座標ではなく、特徴点における光線ベクトルであるとする。また、光線同じ添え字を持つ特徴点aj及びbjが対応しているとする。
【0123】
光線ベクトルaj及びbjのなす角をαjとおくと、αjは光線ベクトルaj及びbjの誤差に応じた大きさとなる(図12を参照のこと)。例えば、特徴点ajとbjが正確に一致する場合には、αjはゼロになる。
【0124】
αjは下式により計算することができる。
【0125】
【数18】
【0126】
したがって、上式を評価関数とし、このαjが最小となるように画像をすり合わせることが最適化処理となる。
【0127】
また、隣接する画像フレームIA及びIB間で設定又は入力された特徴点がfj個ある場合には、各特徴点毎に求められたαjの総和が最小となるように画像フレームIA及びIBをすり合わせることが最適化処理となる。下式では、正負の符号の影響をなくすために、2乗平均をとったものを評価関数としている。
【0128】
【数19】
【0129】
また、実際の全方位画像の撮影装置においては、3台以上のカメラすなわち画像フレームがあり、各画像フレームは、それぞれの辺毎に隣接画像フレームを持つ。図13には、10台のカメラC1,C2,…,C10からなる全方位画像の撮影装置において、各カメラの撮影画像フレームI1,I2,…,I10間での隣接関係を示している。
【0130】
同図において、実線で結ばれている画像フレーム同士が隣接関係にある。例えば、カメラC1の撮影画像フレームI1は、カメラC2の撮影画像フレームI2、カメラC3の撮影画像フレームI3、カメラC4の撮影画像フレームI4、及び、カメラC5の撮影画像フレームI5と隣接している。したがって、全方位画像を生成するためには、画像フレームI1は、隣接する他の4枚の画像フレームI2,I3,I4,I5の各々との間で画像すり合わせの最適化処理を行う必要がある。勿論、他のカメラC2…の撮影画像フレームI2…に関しても同様に、すべての隣接画像フレームとの間で最適化処理を行う必要がある。
【0131】
ここで、画像Iがn枚の画像フレーム{I1,…,In}からなり、画像Iはm個の境界E={E1,…,Em}においてすり合わせを行う必要があり、また、各境界iEにおいてfj個の特徴点ですり合わせを行う場合には(iE={iaj,ibj}fi)、上記の[数19]で示した評価式cは、以下のように一般化される。
【0132】
【数20】
【0133】
上記の評価式cの最小値を求めるには、例えば、Levemberg−Marquadt最小化法を適用することができる(Levemberg-Marquadt最小化法に関しては、例えば、J. More著"The levemberg-marquadt algorithm, implementation and theory"(In G. A. Watson, editor, Numerical Analysis, Lecture Notes in Mathematics 630. Springer-Verlag, 1977)を参照されたい)。
【0134】
図14には、隣接画像を貼り合わせるための画像貼り合わせの最適化処理手順をフローチャートの形式で示している。この最適化処理手順は、▲1▼特徴点から得られる光線ベクトルを固定して、画像フレーム単位で行う第1の最適化と、▲2▼光線ベクトルすなわち変換関数WTも可変として、ポリゴン単位で行う第2の最適化と、▲3▼画像貼り合わせ後の出力フォーマットを考慮した画素単位で行う第3の最適化という3段階の最適化に区分される。
【0135】
メッシュ・カメラを作成した後(前述)、まず、画像貼り合わせのための特徴点の入力を行う(ステップS31)。特徴点の入力は自動又は手動のいずれでもよい。特徴点は、例えば、画素比較を行い易い高域成分の領域から選び出される。
【0136】
次いで、抽出された各特徴点についての光線ベクトルを算出する(ステップS32)。この段階では、メッシュ・カメラの頂点以外の特徴点に関しては、特徴点を囲う複数の頂点においてメッシュ・カメラで定義されている光線ベクトルを基に算出された変換関数WTを用いて、特徴点の投影平面上のxy座標値から直接求める。変換関数WTに関しては図10及び[数14]〜[数17]を参照されたい。
【0137】
次いで、ステップS33では、第1段階の最適化処理を行う。すなわち、隣接する各画像フレーム間で、対応する特徴点毎の光線ベクトルの誤差すなわち光線ベクトルのなす角αjを算出するとともに、それらの2乗平均を求めて、[数20]に示したような評価式を形成する。そして、Levemberg-Marquadt最小化法などを用いて、評価式が最小となるように最適化を行う。
【0138】
但し、この第1段階の最適化処理では、ポリゴンの各頂点の光線ベクトルを固定して扱う。この結果、特徴点における光線ベクトルを求める変換関数WTを固定して、最適化が行われる。このことは、画像フレームが剛体として取り扱われることを意味し、画像フレーム単位で最適化処理を行うことに等しい。
【0139】
図23には、水平方向の全方位撮影装置(図2を参照のこと)で撮影した複数の画像フレームをメッシュ・カメラを用いて画像フレーム単位で最適化処理して貼り合わせてできた360度の全方位画像を示している。但し、同図に示す例では、全方位画像を外側から眺望している。また、図24には、図23に示した全方位画像のうち所定の視野角で内側から眺望した様子を示している。また、図25には、全天球型の全方位撮影装置(図22を参照のこと)で撮影した複数の画像フレームをメッシュ・カメラを用いて画像フレーム単位で最適化処理して貼り合せてできた全天球型の画像を示している。
【0140】
次いで、ステップS34では、第2段階の最適化処理を行う。この第2段階の最適化では、ポリゴンの各頂点の光線ベクトルを可変として取り扱い、ポリゴン単位で変換関数WTを変更することを許容する。このことは、ポリゴン単位で回転する成分を考慮することを意味し、ポリゴン単位で最適化処理を行うことに等しい。
【0141】
ステップS34では、ステップS33と同様に[数20]を評価式に用いる。但し、ステップS34では、画像フレーム全体の回転Rに加えて、ポリゴンの各頂点に定義されたパラメータθ及びφを変化させて、ポリゴン単位で各変換関数WTを変更するため、未知数が増大するので、Levemberg-Marquadt最小化法に代えて、Bundle Adjustment法を適用することが好ましいと思料する。なお、Bundle Adjustment法に関しては、例えばB. Triggs, P. McLauchlan, R. Hartley, A. Fitsgibbon共著の"Bundle Adjustment -- A Modern Synthesis"(Vision Algorithms: Theory and Practice, Springer Verlag, LNCS, pp.298-375, 2000)を参照されたい。
【0142】
次いで、ステップS35では、第3段階の最適化処理を行う。この第3段階の最適化では、画素単位で最適化を行うことと、画像貼り合わせ後の出力フォーマットを考慮して最適化処理することを特徴とする。
【0143】
画素単位では画素値などのデータを持たないので、頂点データを基に補間を行う必要がある。一般には、投影平面上で画素補間を行うが、本実施形態では、投影平面ではなく光線ベクトルを用いて補間処理を行う。この補間処理のために"Interpolate"という関数を用意する。Interpolate関数は、投影平面上の座標値(x,y)及び使用するカメラ・モデルCを引数とし、θφ極座標空間上で補間処理を行って、結果をθφ極座標値で返す。
【0144】
図15には、Interpolate関数の処理手順を簡潔にフローチャートの形式でまとめている。まず、カメラ・モデルCを用いて画素位置(x,y)並びにその隣接画素の位置をθφ極座標空間に変換する(ステップS41)。そして、θφ回転空間(単位球面)上でθ及びφの補間を行う(ステップS42)。
【0145】
投影平面上で補間を行うと、使用したカメラ・モデルCやその歪みパラメータの影響を受けるが、これに対し光線ベクトルを用いて補間を行うことにより、これらからの影響を排除することができる。
【0146】
図16には、ピンホール・カメラの場合を例にとって光線ベクトルの補間を行う様子を示している。同図において、投影平面上において補間の対象となる位置(x,y)をPx,yとし、これに隣接する各頂点をそれぞれPX,Y、PX+1,Y、PX,Y+1、PX+1,Y+1とおく。このような場合、内分比αx及びαyは、下式のように表される。但し、主点を(px,py)とし、焦点距離を(fx,fy)とする。
【0147】
【数21】
【0148】
ここで、PX,Y及びPX+1,Yを用いて補間した光線ベクトルPYは、αxを用いて下式のように表される。
【0149】
【数22】
【0150】
また、PX,Y+1及びPX+1,Y+1を用いて補間した光線ベクトルPY+1は、αxを用いて下式のように表される。
【0151】
【数23】
【0152】
そして、これらPY及びPY+1、並びに内分比αyを用いて、光線ベクトルPx,yを下式のように表すことができる。
【0153】
【数24】
【0154】
Px,yをRayToImage関数を用いて投影平面上の画素位置(x,y)に変換することができる。
【0155】
出力フォーマットとは、複数の画像フレームを貼り合せてなる画像データをマッピングするフォーマットのことを意味する。例えば、全方位型の撮影装置が例えば図2に示したような180度の全周囲画像を撮影するタイプである場合には、円筒の表面を出力フォーマットにしてもよい。あるいは全点球型の画像を撮影するタイプである場合には、球面を出力フォーマットとすることができる。勿論、出力フォーマットが撮影装置の入力フォーマットと同じである必要は必ずしもない。
【0156】
図17〜図20には、同様の全方位画像の出力フォーマットを、それぞれ正四面体の表面、正20面体の表面、正12面体の表面、並びに球の表面とした場合のテクスチャ・マッピング例を示している。
【0157】
図17〜図20からも判るように、出力フォーマットは任意の非平面であり、原画像の画素位置に応じてマッピング後の立体角Ωは相違する。また、原画像の時点でも各画素が持つ信頼性wは区々である。
【0158】
そこで、本実施形態では、第3段階の最適化処理過程において、画素単位で最適化を行うに際して、ImageToRay関数を用いて画素位置(x,y)を光線ベクトルrに変換して取り扱う。また、各画素rが持つ光強度を関数l(r)とし、各画素が持つ信頼性をw(r)とする。この場合の評価式は、下式のように表すことができる。但し、出力フォーマットは、w×h画素サイズであり、原画像(カメラの台数)はnとする。
【0159】
【数25】
【0160】
この評価式は、隣接画像フレーム間での対応する光ベクトルが持つ光強度の誤差の2乗を求めるものであり、計算に際して、各画素が持つ信頼性と、出力フォーマットに依存する出力フォーマットの原点と各画素で構成される立体角Ωi,jを考慮している。この評価式の最小値を求めることにより、画像のすり合わせの最適化を画素単位で行うことができる。
【0161】
なお、上記の評価式の最適化処理には、Levemberg-Marquadt最小化法(前述)を適用することができる。
【0162】
[追補]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0163】
【発明の効果】
以上詳記したように、本発明によれば、複数のカメラを用いて空間上の隣接する領域を撮影した画像同士を好適に貼り合わせることができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0164】
また、本発明によれば、レンズ歪みやカメラ・モデルが異なるさまざまなカメラの撮影画像を好適に貼り合わせ処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【0165】
また、本発明によれば、レンズ歪みやカメラ・モデルが異なるさまざまなカメラの撮影画像を、ピンホール・カメラなど他のカメラモデルの撮影画像に変換したりして画像を劣化させることなく貼り合わせ処理することができる、優れた画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【図1】 本発明に係る画像処理の処理手順全体を概略的に示した図である。
【図2】 水平方向の全方位映像を得る全方位撮影装置の外観構成を示した図である。
【図3】 全方位撮影装置から同時・並行して出力される複数の画像フレームを処理する全方位画像処理装置の構成を模式的に示した図である。
【図4】 メッシュ・カメラを生成するための処理手順を示したフローチャートである。
【図5】 ピンホール・カメラのカメラ・モデルの定義を説明するための図である。
【図6】 ピンホール・カメラのカメラ・モデルの定義を説明するための図である。
【図7】 魚眼レンズのカメラ・モデルの定義を説明するための図である。
【図8】 Tsaiのカメラ・モデルにおけるImageToRay関数を求めるための処理手順を示したフローチャートである。
【図9】 Tsaiのカメラ・モデルにおけるRayToImage関数を求めるための処理手順を示したフローチャートである。
【図10】 変換関数WTの算出方法を説明するための図である。
【図11】 画像貼り合わせの最適化処理の原理を説明するための図である。
【図12】 画像貼り合わせの最適化処理の原理を説明するための図である。
【図13】 全方位画像の撮影装置における各撮影画像フレーム間での隣接関係を表した図である。
【図14】 画像貼り合わせの最適化処理手順を示したフローチャートである。
【図15】 Interpolate関数の処理手順を簡潔にまとめたフローチャートである。
【図16】 光線ベクトルの補間を行う様子を示した図である。
【図17】 正四面体の表面を全方位画像の出力フォーマットにした場合のマッピング例を示した図である。
【図18】 正20面体の表面を全方位画像の出力フォーマットにした場合のマッピング例を示した図である。
【図19】 正12面体の表面を全方位画像の出力フォーマットにした場合のマッピング例を示した図である。
【図20】 球の表面を全方位画像の出力フォーマットにした場合のマッピング例を示した図である。
【図21】 全方位画像処理装置として適用されるコンピュータ・システム100の構成を模式的に示した図である。
【図22】 全天球型の全方位映像を得る全方位撮影装置の外観構成を示した図である。
【図23】 水平方向の全方位撮影装置で撮影した複数の画像フレームをメッシュ・カメラを用いて画像フレーム単位で最適化処理して貼り合わせてできた360度の全方位画像を示した図である。
【図24】 水平方向の全方位撮影装置で撮影した複数の画像フレームをメッシュ・カメラを用いて画像フレーム単位で最適化処理して貼り合わせてできた画像を示した図である。
【図25】 全天球型の全方位撮影装置で撮影した複数の画像フレームをメッシュ・カメラを用いて画像フレーム単位で最適化処理して貼り合わせてできた全天球型の全方位画像を示した図である。
Claims (10)
- カメラにより撮影された複数の画像フレームを貼り合わせる画像処理装置であって、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出手段と、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化手段を具備し、
前記光線ベクトル算出手段は、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点の投影平面上の座標とこれに対応する光線ベクトルの対応関係を記述したメッシュ・カメラをあらかじめ生成しておき、
前記最適化手段は、ポリゴンの頂点における光線ベクトルを基にポリゴン内の各点についての投影平面上の座標値を光線ベクトルへ変換する変換関数を求めて、該変換関数を用いて特徴点における光線ベクトルを算出する、
ことを特徴とする画像処理装置。 - 前記最適化手段は、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算して、該変換関数を固定したまま各特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像フレーム単位での最適化処理を行う、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記最適化手段は、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算するとともに、該変換関数を可変にして各特徴点における光線ベクトルに基づく情報の誤差が最小となるようにポリゴン単位で最適化処理を行う、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記最適化手段は、各画素が持つ光強度と、各画素が持つ信頼性と、出力フォーマット面上で各画素が持つ立体角とを考慮して、各画素における光線ベクトルに基づく情報の誤差が最小となるように画素単位で最適化処理を行う、
ことを特徴とする請求項1に記載の画像処理装置。 - カメラにより撮影された複数の画像フレームを貼り合わせる画像処理方法であって、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出ステップと、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化ステップを具備し、
前記光線ベクトル算出ステップでは、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点の投影平面上の座標とこれに対応する光線ベクトルの対応関係を記述したメッシュ・カメラをあらかじめ生成しておき、
前記最適化ステップでは、ポリゴンの頂点における光線ベクトルを基にポリゴン内の各点についての投影平面上の座標値を光線ベクトルへ変換する変換関数を求めて、該変換関数を用いて特徴点における光線ベクトルを算出する、
ことを特徴とする画像処理方法。 - 前記最適化ステップでは、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算して、該変換関数を固定したまま各特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像フレーム単位での最適化処理を行う、
ことを特徴とする請求項5に記載の画像処理方法。 - 前記最適化ステップでは、特徴点から光線ベクトルへの変換関数をポリゴン単位で計算するとともに、該変換関数を可変にして各特徴点における光線ベクトルに基づく情報の誤 差が最小となるようにポリゴン単位で最適化処理を行う、
ことを特徴とする請求項5に記載の画像処理方法。 - 前記最適化ステップでは、各画素が持つ光強度と、各画素が持つ信頼性と、出力フォーマット面上で各画素が持つ立体角とを考慮して、各画素における光線ベクトルに基づく情報の誤差が最小となるように画素単位で最適化処理を行う、
ことを特徴とする請求項5に記載の画像処理方法。 - カメラにより撮影された複数の画像フレームを貼り合わせる処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、前記コンピュータに対し、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出手順と、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化手順を実行させ、
前記光線ベクトル算出手順では、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点の投影平面上の座標とこれに対応する光線ベクトルの対応関係を記述したメッシュ・カメラをあらかじめ生成しておき、
前記最適化手順では、ポリゴンの頂点における光線ベクトルを基にポリゴン内の各点についての投影平面上の座標値を光線ベクトルへ変換する変換関数を求めて、該変換関数を用いて特徴点における光線ベクトルを算出する、
ことを特徴とする記憶媒体。 - カメラにより撮影された複数の画像フレームを貼り合わせる処理をコンピュータ上で実行するように記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
撮影に使用したカメラにより投影平面上の各点に投影される光線ベクトルをカメラ・モデルを基に求める光線ベクトル算出手順と、
隣接する画像フレーム間で対応する特徴点における光線ベクトルに基づく情報の誤差が最小となるように画像の貼り合わせを最適化する最適化手順を実行させ、
前記光線ベクトル算出手順では、カメラの投影平面を無数のポリゴンに分割するとともに、ポリゴンの各頂点の投影平面上の座標とこれに対応する光線ベクトルの対応関係を記述したメッシュ・カメラをあらかじめ生成しておき、
前記最適化手順では、ポリゴンの頂点における光線ベクトルを基にポリゴン内の各点についての投影平面上の座標値を光線ベクトルへ変換する変換関数を求めて、該変換関数を用いて特徴点における光線ベクトルを算出する、
ことを特徴とするコンピュータ・プログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375035A JP3975736B2 (ja) | 2001-12-07 | 2001-12-07 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
DE60239560T DE60239560D1 (de) | 2001-12-07 | 2002-11-21 | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, speichermedium und computerprogramm |
EP02804352A EP1453001B1 (en) | 2001-12-07 | 2002-11-21 | Image processing apparatus, image processing method, storage medium and computer program |
US10/467,143 US7426317B2 (en) | 2001-12-07 | 2002-11-21 | Image processing apparatus and image processing method, storage medium and computer program |
KR1020037010356A KR100924411B1 (ko) | 2001-12-07 | 2002-11-21 | 화상 처리 장치 및 화상 처리 방법, 및 기억 매체 |
PCT/JP2002/012150 WO2003049030A1 (fr) | 2001-12-07 | 2002-11-21 | Dispositif de traitement d'image, procede de traitement d'image, procede de stockage et programme informatique |
CNB028062981A CN100437639C (zh) | 2001-12-07 | 2002-11-21 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375035A JP3975736B2 (ja) | 2001-12-07 | 2001-12-07 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003178298A JP2003178298A (ja) | 2003-06-27 |
JP3975736B2 true JP3975736B2 (ja) | 2007-09-12 |
Family
ID=19183488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001375035A Expired - Fee Related JP3975736B2 (ja) | 2001-12-07 | 2001-12-07 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US7426317B2 (ja) |
EP (1) | EP1453001B1 (ja) |
JP (1) | JP3975736B2 (ja) |
KR (1) | KR100924411B1 (ja) |
CN (1) | CN100437639C (ja) |
DE (1) | DE60239560D1 (ja) |
WO (1) | WO2003049030A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202593A (ja) * | 2004-01-14 | 2005-07-28 | Seiko Epson Corp | 画像処理装置、プログラム及び方法 |
KR101042638B1 (ko) * | 2004-07-27 | 2011-06-20 | 삼성전자주식회사 | 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법 |
JP4671027B2 (ja) | 2005-05-02 | 2011-04-13 | ソニー株式会社 | 認証装置、認証方法及びプログラム |
JP4250620B2 (ja) * | 2005-07-29 | 2009-04-08 | キヤノン株式会社 | 情報処理方法および装置 |
US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
JP4783620B2 (ja) * | 2005-11-24 | 2011-09-28 | 株式会社トプコン | 3次元データ作成方法及び3次元データ作成装置 |
JP4966542B2 (ja) * | 2005-12-22 | 2012-07-04 | 株式会社トプコン | 位置データ補間方法及び位置測定装置 |
US9182228B2 (en) * | 2006-02-13 | 2015-11-10 | Sony Corporation | Multi-lens array system and method |
US20070248277A1 (en) * | 2006-04-24 | 2007-10-25 | Scrofano Michael A | Method And System For Processing Image Data |
JP4945578B2 (ja) | 2007-01-04 | 2012-06-06 | 肇 鳴川 | 情報処理方法 |
EP2139225B1 (en) * | 2007-04-23 | 2015-07-29 | Sharp Kabushiki Kaisha | Image picking-up device, computer readable recording medium including recorded program for control of the device, and control method |
KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
AT508563B1 (de) | 2009-10-07 | 2011-02-15 | Ait Austrian Inst Technology | Verfahren zur aufnahme dreidimensionaler abbilder |
CN102111561A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特(北京)视频技术有限公司 | 一种模拟真实场景的三维模型投影方法及装置 |
JP5690539B2 (ja) | 2010-09-28 | 2015-03-25 | 株式会社トプコン | 自動離着陸システム |
US8872888B2 (en) | 2010-10-01 | 2014-10-28 | Sony Corporation | Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system |
JP5618840B2 (ja) | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
JP5770486B2 (ja) | 2011-02-21 | 2015-08-26 | 株式会社トプコン | 全周画像計測装置 |
CN102694968B (zh) * | 2011-03-25 | 2016-03-30 | 中山市云创知识产权服务有限公司 | 摄像装置及其环景监控方法 |
JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
US8711186B2 (en) * | 2011-05-02 | 2014-04-29 | Microvision, Inc. | Scanning projection apparatus with tangential compensation |
EP2541356B1 (en) * | 2011-06-30 | 2013-08-28 | Axis AB | Processing monitoring data in a monitoring system |
CN102340633B (zh) * | 2011-10-18 | 2013-07-03 | 深圳市远望淦拓科技有限公司 | 一种利用多台摄像机生成鱼眼效果图片的方法 |
EP2793680A2 (en) * | 2011-12-21 | 2014-10-29 | Koninklijke Philips N.V. | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope |
US8818101B1 (en) * | 2012-01-03 | 2014-08-26 | Google Inc. | Apparatus and method for feature matching in distorted images |
US9373051B2 (en) | 2012-06-14 | 2016-06-21 | Insitu, Inc. | Statistical approach to identifying and tracking targets within captured image data |
US9380275B2 (en) | 2013-01-30 | 2016-06-28 | Insitu, Inc. | Augmented video system providing enhanced situational awareness |
US20160366393A1 (en) * | 2015-06-11 | 2016-12-15 | Intel IP Corporation | Three-dimensional advanced imaging |
US10512395B2 (en) * | 2016-04-29 | 2019-12-24 | Carl Zeiss Meditec, Inc. | Montaging of wide-field fundus images |
US11212496B2 (en) * | 2016-10-07 | 2021-12-28 | Vid Scale, Inc. | Geometry conversion and frame packing associated with 360-degree videos |
JP6900609B2 (ja) * | 2016-12-06 | 2021-07-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 広角画像を修正するシステム及び方法 |
KR102670714B1 (ko) | 2018-12-17 | 2024-06-03 | 서강대학교산학협력단 | Gpu를 기반으로 한 결정 트리를 이용한 대응점 탐색 방법 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3104327B2 (ja) * | 1991-10-18 | 2000-10-30 | 松下電器産業株式会社 | 歪曲収差補正装置および画像合成装置 |
EP0605045B1 (fr) * | 1992-12-29 | 1999-03-31 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes |
JP3321941B2 (ja) * | 1993-11-11 | 2002-09-09 | 三菱電機株式会社 | 画像合成装置 |
FR2714502A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JP3395564B2 (ja) * | 1997-03-05 | 2003-04-14 | 三菱電機株式会社 | 画像合成装置 |
US5987164A (en) * | 1997-08-01 | 1999-11-16 | Microsoft Corporation | Block adjustment method and apparatus for construction of image mosaics |
US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
JP3957888B2 (ja) * | 1997-08-20 | 2007-08-15 | 株式会社リコー | 撮像装置及び撮像画像合成方法 |
JP2000067227A (ja) * | 1998-08-25 | 2000-03-03 | Canon Inc | 画像表示装置、方法および記憶媒体 |
JP2000115639A (ja) * | 1998-10-06 | 2000-04-21 | Ricoh Co Ltd | 画像入力装置及びその方法 |
-
2001
- 2001-12-07 JP JP2001375035A patent/JP3975736B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-21 US US10/467,143 patent/US7426317B2/en not_active Expired - Fee Related
- 2002-11-21 WO PCT/JP2002/012150 patent/WO2003049030A1/ja active Application Filing
- 2002-11-21 DE DE60239560T patent/DE60239560D1/de not_active Expired - Lifetime
- 2002-11-21 CN CNB028062981A patent/CN100437639C/zh not_active Expired - Fee Related
- 2002-11-21 EP EP02804352A patent/EP1453001B1/en not_active Expired - Fee Related
- 2002-11-21 KR KR1020037010356A patent/KR100924411B1/ko not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP1453001A1 (en) | 2004-09-01 |
US7426317B2 (en) | 2008-09-16 |
WO2003049030A1 (fr) | 2003-06-12 |
EP1453001B1 (en) | 2011-03-23 |
CN100437639C (zh) | 2008-11-26 |
US20040076340A1 (en) | 2004-04-22 |
CN1496535A (zh) | 2004-05-12 |
EP1453001A4 (en) | 2007-09-19 |
DE60239560D1 (de) | 2011-05-05 |
JP2003178298A (ja) | 2003-06-27 |
KR100924411B1 (ko) | 2009-10-29 |
KR20040065525A (ko) | 2004-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3975736B2 (ja) | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム | |
WO2019049421A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
US7583288B2 (en) | Panoramic video | |
Raskar et al. | Multi-projector displays using camera-based registration | |
Capel | Image mosaicing | |
KR20040050888A (ko) | 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램 | |
JP4403421B2 (ja) | 画像処理装置及び画像処理方法 | |
CN108805807B (zh) | 环景图像的拼接方法及其*** | |
Nielsen | Surround video: a multihead camera approach | |
JP4965967B2 (ja) | 映像表示システムの調整システム | |
JP2002203254A (ja) | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 | |
US8019180B2 (en) | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager | |
Kamali et al. | Stabilizing omnidirectional videos using 3d structure and spherical image warping | |
JP2004135209A (ja) | 広視野高解像度映像の生成装置及び方法 | |
JP2006350852A (ja) | 画像生成システム | |
JP3660108B2 (ja) | 画像保存方法及び機械読み取り可能媒体 | |
JPH10208074A (ja) | 画像生成方法 | |
JP2017069920A (ja) | 自由視点画像データ生成装置および自由視点画像データ再生装置 | |
JP3387900B2 (ja) | 画像処理方法及び装置 | |
GB2560301A (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
JP2003337953A (ja) | 画像処理装置および画像処理方法、並びにコンピュータ・プログラム | |
Yuan et al. | A novel method for geometric correction of multi-cameras in panoramic video system | |
Nielsen | High resolution full spherical videos | |
JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US11900635B2 (en) | Organic camera-pose mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070611 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |