JP2006171939A - Image processor and method - Google Patents
Image processor and method Download PDFInfo
- Publication number
- JP2006171939A JP2006171939A JP2004360835A JP2004360835A JP2006171939A JP 2006171939 A JP2006171939 A JP 2006171939A JP 2004360835 A JP2004360835 A JP 2004360835A JP 2004360835 A JP2004360835 A JP 2004360835A JP 2006171939 A JP2006171939 A JP 2006171939A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- resolution
- imaging
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、複数の画像に対して画像処理を施すものである。 The present invention performs image processing on a plurality of images.
移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（非特許文献１、非特許文献２）。 An attempt has been proposed in which a real space is imaged by an imaging device mounted on a moving body, and the captured real space is represented as a virtual space using a computer based on the captured real image data (non-patent document). 1, Non-Patent Document 2).
移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。 Based on live-action image data captured by an imaging device mounted on a moving object, a method for representing the captured real space as a virtual space is to reproduce the geometric model of the real space based on the real-image data. However, there is a limit in terms of accuracy, precision, and realism of the model. On the other hand, in recent years, Image-Based Rendering (IBR) technology that represents a virtual space using a photographed image without performing reproduction using a model has attracted attention. The IBR technique is a technique for generating an image viewed from an arbitrary viewpoint based on a plurality of actual images. Since the IBR technology is based on a photographed image, a realistic virtual space can be expressed.
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。 In order to construct a virtual space that can be walk-through using such IBR technology, it is necessary to generate and present an image according to the position in the virtual space of the user. Therefore, in this type of system, each frame of the live-action image data is stored in association with the position in the virtual space, and the corresponding frame is acquired based on the position in the user's virtual space and the line-of-sight direction. Play this.
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Global Positioning System）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平11-168754）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。 As a method for obtaining position data in the real space, it is common to use a positioning system using an artificial satellite represented by GPS (Global Positioning System) which is also used in a car navigation system and the like. . As a method for associating position data obtained from the GPS or the like with actual captured image data, a method for associating using time code has been proposed (Japanese Patent Laid-Open No. 11-168754). In this method, the time data included in the position data is associated with the time code added to each frame of the real image data, thereby associating each frame of the real image data with the position data.
このような仮想空間内のウォークスルーにおいては、使用者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における視点位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。 In such a walk-through in the virtual space, the user can see a desired direction at each viewpoint position. For this reason, each viewpoint position image is stored as a panoramic live-action image that covers a wider range than the angle of view at the time of playback, and based on the viewpoint position and line-of-sight direction in the user's virtual space, It can be considered that a partial image to be reproduced is cut out and displayed.
従来パノラマ実写画像を得る一つの方法として、たとえば複数のカメラを用いる方法があった。一般にはまず所望の視界（たとえば全周方向の視界等）を複数のカメラの視界で網羅できるように夫々のカメラを放射状に配置する。この放射状型パノラマ撮像装置の例を図１に示す。そして夫々のカメラ（１０１〜１０８）で得られる画像をコンピュータなどの記憶装置に一時的に記憶しておく。そして夫々のカメラで撮像した画像を繋ぎ合わせることで、合成されたパノラマ実写画像を得ることができる。 Conventionally, as a method for obtaining a panoramic real image, there has been a method using a plurality of cameras, for example. In general, each camera is arranged radially so that a desired field of view (for example, a field of view in the entire circumference direction) can be covered by the field of view of a plurality of cameras. An example of this radial panoramic imaging apparatus is shown in FIG. Images obtained by the respective cameras (101 to 108) are temporarily stored in a storage device such as a computer. Then, by combining the images taken by the respective cameras, a synthesized panoramic real image can be obtained.
また、パノラマ実写画像を得る他の方法として、一台のカメラと双曲面ミラーを組み合わせて用いる方法があった。この双曲面ミラー型パノラマ撮像装置の例を図２に示す。図２に示すように、双曲面ミラー型パノラマ撮像装置は、双曲面ミラー２０２とカメラ部２０１から構成され、カメラ部２０１は、双曲面ミラーに反射した周囲の情景を撮像する。
しかしながら、上記に示す放射状型パノラマ撮像装置（図１）では、それぞれのカメラ（１０１〜１０８）のレンズ中心、すなわち光学的中心（以下「光心」という）の位置がカメラの内側にあるため、それぞれのカメラの光心位置を一致させることができない。それぞれのカメラ（１０１〜１０８）の光心位置がずれているため、各カメラから得られる画像は異なる視点からの画像になる。よって、画像を繋ぎ合せてパノラマ画像を合成しようとすると、画像同士の重なり部分が同じ映像にならず、二重増ができてしまう。図３には、画像３０１と画像３０２を繋ぎ合わせる際に、合成した画像３０３の重なり部分３０４において二重像が現れている様子が示されている。
However, in the above-described radial panoramic imaging device (FIG. 1), the lens center of each camera (101 to 108), that is, the optical center (hereinafter referred to as “optical center”) is located inside the camera. The optical center positions of the respective cameras cannot be matched. Since the optical center positions of the cameras (101 to 108) are shifted, images obtained from the cameras are images from different viewpoints. Therefore, when trying to combine panoramic images by connecting images, the overlapping portions of the images do not become the same video, and double increase is possible. FIG. 3 shows a state in which a double image appears in the overlapping portion 304 of the synthesized
一方、図２の双曲面ミラー型パノラマ撮像装置では、使用するカメラ２０１が１台のみであるため、繋ぎ合わせによる二重像は発生しない。ただし、放射状型パノラマ撮像装置に比べると全体の解像度は低くなり、用途によっては解像度が足りないという問題が起きる。
On the other hand, in the hyperboloid mirror type panoramic imaging device of FIG. 2, since only one
本発明は以上を鑑みてなされたものであり、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることを目的とする。 The present invention has been made in view of the above, and an object thereof is to easily obtain a high-resolution panoramic image without generating a double image at the joint between images.
本発明の目的を達成するために、本願請求項１記載の発明は、複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、前記第二の画像の解像度を調整する調整手段と、前記複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、前記対応探索手段の探索結果をもとに、前記複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする。 In order to achieve the object of the present invention, the invention according to claim 1 of the present application includes a first image acquisition means for acquiring a plurality of images captured by a plurality of imaging units, and an imaging field of view of each of the plurality of imaging units. A second image acquisition unit that acquires a second image captured by a second imaging unit having an imaging field of view that overlaps, an adjustment unit that adjusts the resolution of the second image, and the plurality of images And a correspondence search means for searching for a correspondence of the second image whose resolution is adjusted by the adjustment means, and the resolution is adjusted by the plurality of images and the adjustment means based on a search result of the correspondence search means. And generating means for generating a third image from the second image.
本発明によれば、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。 According to the present invention, a double image does not occur at the joint between images, and a high-resolution panoramic image can be easily obtained.
以下、添付図面に従って、本発明の好適な実施形態について説明する。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
（第１の実施形態）
本実施形態では、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度のパノラマ映像を得る。この方法を説明するために、周囲のパノラマ画像を撮像する一台の広画角カメラ（４０３）と、周囲の部分画像を撮像する複数の参照用カメラ（４０１、４０２）を用いた例を図４に示す。
(First embodiment)
In this embodiment, a single wide-angle camera that captures surrounding panoramic images and a plurality of reference cameras that capture surrounding partial images are used, and a high-resolution panorama is not generated. Get a picture. In order to explain this method, an example in which one wide-angle camera (403) that captures a surrounding panoramic image and a plurality of reference cameras (401, 402) that capture a surrounding partial image is illustrated. 4 shows.
ここで、参照用カメラ（４０１、４０２）は、図１に示す放射状型パノラマ撮像装置と同じく、すべてのカメラは同じ面かつ放射状に配置していて、各カメラの光心位置は一致していないものとする。 Here, in the reference cameras (401, 402), like the radial panoramic imaging device shown in FIG. 1, all the cameras are arranged on the same plane and radially, and the optical center positions of the cameras do not coincide with each other. Shall.
また、説明のためのカメラの例としてビデオカメラをあげるが、これに限らず、スチールカメラのようなものでも良い。 Further, a video camera is given as an example of a camera for explanation, but the present invention is not limited to this, and a camera such as a still camera may be used.
図４は上述の各カメラを上方から見た配置図である。４０１及び４０２は周囲の部分画像を撮像する複数の参照用カメラであり、それぞれ視界４１１及び４１２を有する。また、カメラ４０１及び４０２の視野角及び解像度は等しいものとする。４０３は周囲のパノラマ画像を撮像する一台の広画角カメラであり、視界４１３を有する。ここで、視界４１３は、視界４１１及び視界４１２のそれぞれと重なり部分を有する。さらに、カメラ４０３のレンズ中心は、カメラ４０１とカメラ４０２の光軸が交差する位置にある。また、カメラ４０３が撮像する画像の解像度（サイズ）は、カメラ４０１及びカメラ４０２が撮像する画像の解像度（サイズ）と比較して低いものとする。このように各カメラを配置して、カメラ４０１及びカメラ４０２の撮像する複数の画像をもとにカメラ４０３の位置から見た画像を得たい。
FIG. 4 is a layout view of the above-described cameras as viewed from above.
図５に、図４の各カメラから得られた画像を示す。画像５０１、５０２、５０３はそれぞれカメラ４０１、４０２、４０３から得られたと想定する。上記の説明のように、画像５０３の解像度（サイズ）は、画像５０１、５０２の解像度より低い（小さい）。
FIG. 5 shows images obtained from the respective cameras shown in FIG. Assume that
上述の各カメラの配置に基づいて、カメラ４０１及びカメラ４０２の撮像する複数の画像をもとにカメラ４０３の位置から見た画像を得る処理を、図６に示すフローチャートを用いて説明する。
A process for obtaining an image viewed from the position of the
まずステップS６０１では、図４に示すカメラ４０１、４０２、４０３それぞれによって、図５に示す画像５０１、５０２、５０３を取得する。画像を取得する際に、必要に応じてレンズ歪み補正などの処理の実施も行う。
First, in step S601,
ステップS６０２では、画像の解像度（サイズ）の調整（拡大、縮小）を行う。ここでは、ステップＳ６０１で撮影した画像５０１、５０２の像の密度と、画像５０３の像の密度が同じになるように画像の解像度を調整する。すなわち、画像５０１及び５０２に写っている対象物のサイズと、対応する画像５０３に写っている対象物のサイズが同じになるように画像の解像度を調整する。調整パラメータ（拡大、縮小の度合い）は、図４の各カメラの配置が固定であれば、あらかじめ定めたパラメータで固定となるため、本フローチャートの処理を始める前に手作業によって設定を行っておくことが望ましい。図５において調整を行うには、画像５０３の解像度を高くして画像５０１及び５０２の解像度と合わせるか、画像５０１及び５０２の解像度を低くして画像５０３の解像度と合わせるなど、いくつかパターンが考えられるが、本発明の本実施形態においては、前者のやり方（画像５０３の解像度を高くして画像５０１及び５０２の解像度と合わせる）を選択する。この場合、画像５０３は拡大されることになるため、拡大に伴い隙間が生じる画素に対しては、近傍の画素値をそのまま入力したり、補間処理などを施すことができる。また必要に応じて各種フィルタリング処理も行う。こうすることで、画像５０３から図７に示す画像７０３が生成される。なお、生成された画像７０３は、画像５０３を拡大したものであるため、画像５０１及び５０２と比較して見た目が粗い画像になっている。
In step S602, the resolution (size) of the image is adjusted (enlarged or reduced). Here, the resolution of the image is adjusted so that the density of the
ステップS６０３では、画像７０３中の各部分領域に対応する画像５０１、５０２の領域（対応領域）を探索する。（画像７０３中の部分領域とは、画像７０３をあらかじめ定めたサイズで分割した複数の領域である。）ここで、本実施形態における部分領域及び対応領域のサイズは、画素単位でも良いし、ｎｘｎ画素ブロックのような適当なサイズの領域でも良い。対応探索に用いる領域のサイズは、上述の対応領域のサイズより大きくすることも考えられる。図８に示す例では、探索領域は４ｘ４画素のブロックであるが、対応領域は真中の２ｘ２画素のブロック８０１である。対応領域の探索に用いる方法は、画像の輝度値を特徴量としたテンプレートマッチング法でも良いし、画像中の特徴点を検出してパターンマッチングを行う方法でもよい。さらに、探索を高速化かつもっと正確に行うために、探索領域のサイズを階層的に変えながら実行することも考えられる。このようにして、画像７０３の各部分領域と、画像５０１及び５０２両方の画像の各領域との誤差を計算し、誤差の一番小さい領域を対応領域とする。テンプレートマッチング法を利用して誤差を計算する例として式１を挙げることができるが、それに限定されるものではない。式１では、Nは探索領域のブロックのサイズ（）、は探索対象になっている領域の画素、は画像７０３の部分領域内の画素である。
In step S603, the areas (corresponding areas) of the
ステップS６０４では、ステップS６０３で得られた対応表をもとに、画像７０３の各部分領域に、その領域に対応する画像５０１もしくは５０２の画素値（ＲＧＢ）を入れる。こうすることで、画像７０４のような、解像度の高いパノラマ画像を得ることが可能である。
In step S604, based on the correspondence table obtained in step S603, the pixel values (RGB) of the
ステップS６０５では、ステップS６０４で得られたパノラマ画像７０４を保存する。
In step S605, the
ステップS６０２では、画像の解像度調整を行う時に、画像５０３の解像度を画像５０１及び５０２の解像度にあわせた場合の説明を行ったが、逆に、画像５０１及び５０２の解像度を画像５０３の解像度にあわせても良い。この場合は、ステップＳ６０３において、画像５０１、５０２の縮小画像中の各部分領域に対応する画像５０３の領域（対応領域）を探索する。ステップＳ６０３の処理が終わり、対応表が完成したら、対応表をもとにパノラマ画像７０４を合成する。ここで、合成に使われる画像は画像５０１と５０２の縮小画像ではなく、元の画像５０１と５０２である。
In step S602, the case where the resolution of the
ステップS６０４では、S６０３で作成された対応表をもとに、画像７０４の合成を行っていたが、例えば対応表を作成しないで、対応領域が決まった時点で画像７０４への画素値（ＲＧＢ）書き込みを行っても良い。
In step S604, the
以上の処理により、周囲のパノラマ画像を撮像する一台の広画角カメラ（４０３）と、周囲の部分画像を撮像する複数の参照用カメラ（４０１、４０２）を用いることで、周囲の広画角カメラ画像をもとにした二重像がない画像構成と、高解像度である複数の参照用カメラ画像の利点を合わせることができるため、二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。 Through the above process, a wide-angle camera (403) that captures a surrounding panoramic image and a plurality of reference cameras (401, 402) that capture a surrounding partial image are used. The image structure without a double image based on a square camera image and the advantages of multiple reference camera images with high resolution can be combined, so a double image does not occur and high-resolution panoramic video Can be easily obtained.
（第２の実施形態）
次に、全周方向のパノラマ画像を撮像する一台の双曲面ミラー型パノラマ撮像装置（以下、カメラ９０９と呼ぶ）と、周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）を用いた場合のカメラ配置例を図９に示す。（図９（ａ）はカメラ配置を上からみた図であり、図９（ｂ）はカメラ配置を横から見た図である。）図９に示したカメラの配置構成は、基本的には図４に示した配置構成を拡張したものである。図９に示した配置構成では、カメラ９０９を中心にして、カメラ９０１〜９０８を放射状に配置している。また、カメラ９０９と、カメラ９０１〜９０８それぞれの視界は重なり部分を有しているものとする。さらに、カメラ９０１〜９０８それぞれの視野角及び解像度は等しいものとする。
(Second Embodiment)
Next, a hyperboloid mirror type panoramic imaging device (hereinafter referred to as a camera 909) that captures panoramic images in the entire circumference and a plurality of reference cameras (901 to 908) that capture surrounding partial images. An example of the camera arrangement when used is shown in FIG. (FIG. 9 (a) is a view of the camera arrangement from above, and FIG. 9 (b) is a view of the camera arrangement from the side.) The camera arrangement shown in FIG. This is an extension of the arrangement shown in FIG. In the arrangement configuration shown in FIG. 9, the
図１０の１００１は、カメラ９０９によって得られる広画角画像である。（撮像装置、或いは撮像装置の設置方法によっては、異なる画像が得られることもある。）ここで、画像１００１では双曲面ミラーを利用することによる歪みが生じていることが分かる。よって、画像１００１に対して幾何学変換を施し、歪み補正を行う必要がある。双曲面ミラー型パノラマ撮像装置を利用した際の画像歪み補正については公知の手法を適用すればよい。歪みを補正したあとの画像を図１０の１００２に示す。
A
図１１は、カメラ９０１〜９０８それぞれによって得られる画像である。カメラ９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８から得られる画像は、それぞれ画像１１０１、１１０２、１１０３、１１０４、１１０５、１１０６、１１０７、１１０８であると想定する。
FIG. 11 is an image obtained by each of the
図９のパノラマ撮影装置から、図１０の１００２に示す広画角画像、および図１１に示す複数の高解像度画像が得られる。これらの画像を元に、図１５に示すフローチャートの処理を行うことで、二重像が発生せず、かつ高解像度のパノラマ映像を得ることができる。 From the panorama photographing apparatus in FIG. 9, a wide-angle image shown by 1002 in FIG. 10 and a plurality of high-resolution images shown in FIG. 11 are obtained. By performing the process of the flowchart shown in FIG. 15 based on these images, a double image does not occur and a high-resolution panoramic image can be obtained.
以下、図１５に示すフローチャートの説明を行う。 Hereinafter, the flowchart shown in FIG. 15 will be described.
まずステップS１５０１では、図９に示すカメラ９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８それぞれによって、図１１に示す画像１１０１、１１０２、１１０３、１１０４、１１０５、１１０６、１１０７、１１０８を取得する。また、カメラ９０９によって撮像される画像１００１を取得して、幾何学変換式Ｈ１００３によって歪み補正を施した画像１００２を得る。幾何学変換式Ｈ１００３は、公知の技術によって求めることができ、数式や行列で表現することができる。画像を取得する際に、必要に応じてレンズ歪み補正などの処理の実施も行う。
First, in step S1501, the
ステップS１５０２では、画像の解像度（サイズ）の調整（拡大、縮小）を行う。ここでは、ステップS１５０１で撮影した画像１１０１〜１１０８それぞれの像の密度と、画像１００２の像の密度が同じになるように画像の解像度を調整する。すなわち、画像１１０１〜１１０８それぞれに写っている対象物のサイズと、対応する画像１００２に写っている対象物のサイズが同じになるように画像の解像度を調整する。調整パラメータ（拡大、縮小の度合い）は、図９の各カメラの配置が固定であれば、あらかじめ定めたパラメータで固定となるため、本フローチャートの処理を始める前に手作業によって設定を行っておくことが望ましい。ここで、説明のためにカメラ９０１〜９０８それぞれと、カメラ９０９は同じ種類のカメラであると想定し、得られる画像は全て同じ解像度の画像であるとする。画像１１０１〜１１０８それぞれは同じ視野角と解像度を有しているが、画像１００２は全周方向の広画角の視界を有するため、画像１００２の解像度は、画像１１０１〜１１０８それぞれの解像度よりも低くなる。解像度の調整を行うには、画像１００２の解像度を高くして画像１１０１〜１１０８それぞれの解像度と合わせるか、画像１１０１〜１１０８それぞれの解像度を低くして画像１００２の解像度と合わせるなど、いくつかパターンが考えられるが、ここでは前者のやり方（画像１００２の解像度を高くして画像１１０１〜１１０８それぞれの解像度と合わせる）を選択する。図１０に示すように、画像１００２に幾何学変換式Ｈ１００４を施して画像１００５を生成する。また変換の際には必要に応じて各種フィルタリング処理も行う。なお、生成された画像１００５は、画像１００２を拡大したものであるため、画像１１０１〜１１０８と比較して見た目が粗い画像になっている。
In step S1502, the resolution (size) of the image is adjusted (enlarged or reduced). Here, the image resolution is adjusted so that the density of each of the
ステップS１５０３では、画像１００５中の各部分領域に対応する画像１１０１〜１１０８の領域（対応領域）を探索する。（画像１００５中の部分領域とは、画像１００５をあらかじめ定めたサイズで分割した複数の領域ある。）ここで、本実施形態における部分領域及び対応領域のサイズは、画素単位でも良いし、ｎｘｎ画素ブロックのような適当なサイズの領域でも良い。対応探索に用いる領域のサイズは、上述の対応領域のサイズより大きくすることも考えられる。図８に示す例では、探索領域は４ｘ４画素のブロックであるが、対応領域は真中の２ｘ２画素のブロック８０１である。対応領域の探索に用いる方法は、画像の輝度値を特徴量としたテンプレートマッチング法でも良いし、画像中の特徴点を検出してパターンマッチングを行う方法でもよい。さらに、探索を高速化かつもっと正確に行うために、探索領域のサイズを階層的に変えながら実行することも考えられる。
In step S1503, areas of the
画像１００５の各部分領域と、画像１１０１〜１１０８全ての画像の各領域との誤差を計算し、誤差の一番小さい領域を対応領域とする。テンプレートマッチング法を利用して誤差を計算する例として式１を挙げることができるが、それに限定されるものではない。
An error between each partial region of the
ステップS１５０３が終わると、画像１００５の各部分領域に対応する画像１１０１〜１１０８の対応領域が得られている。得られた部分領域と対応領域の対応情報を、例えば図１２の変換式H１２０１〜H１２０８として保存する。変換式H１２０１〜H１２０８は、数式や行列で表現することができる。
When step S1503 ends, corresponding areas of
ステップS１５０４では、ステップS１５０３で得られた変換式H１２０１〜H１２０８をもとに、画像１２０９の各部分領域に、その領域に対応する画像１１０１〜１１０８の画素値（ＲＧＢ）を入れる。こうすることで、画像１２０９のような、解像度の高いパノラマ画像を得ることが可能である。
In step S1504, based on the conversion formulas H1201 to H1208 obtained in step S1503, the pixel values (RGB) of the
ステップS１５０５では、ステップS１５０４で得られたパノラマ画像１２０９を保存する。 In step S1505, the panoramic image 1209 obtained in step S1504 is stored.
ステップS１５０２では、画像の解像度調整を行う時に、画像１００２の解像度を画像１１０１〜１１０８それぞれの解像度に合わせた場合の説明を行ったが、逆に、画像１１０１〜１１０８それぞれの解像度を画像１００２の解像度に合わせてもよい。この場合は、ステップS１５０３において、画像１１０１〜１１０８の縮小画像中の各部分領域に対応する画像１００２の領域（対応領域）を探索する。ステップＳ１５０３の処理が終わり、対応変換式H１２０１〜１２０８が完成したら、対応変換式をもとにパノラマ画像１２０９を合成する。ここで、合成に使われる画像は画像１１０１〜１１０８の縮小画像ではなく、元の画像１１０１〜１１０８である。
In step S1502, the case where the resolution of the
ステップS１５０３の探索処理時間を短縮するために、対応領域の探索範囲を狭くすることができる。図１３は、図９と同様の配置構成を持つ撮影装置である。ここで、カメラ９０５について説明を行うが、他のカメラについても同様な処理を行うものとする。直線１３０５は、カメラ９０９とカメラ９０５のレンズ中心を通過する直線である。この直線は、画像１００１と画像１１０５それぞれの画像中の各一点を通過する。同様に、図１３に示すように、カメラ９０９のレンズ中心と、カメラ９０１、９０２、９０３、９０４、９０６、９０７、９０８それぞれのレンズ中心を通過する直線１３０１、１３０２、１３０３、１３０４、１３０６、１３０７、１３０８が存在する。そしてこれらの直線は、画像１００１と、画像１１０１、１１０２、１１０３、１１０４、１１０６、１１０７、１１０８それぞれの画像中の各一点を通過する。図１４には、直線１３０５が（画像１００１を変換した）画像１００５を通過する点１３０５Ａと、直線１３０５が画像１１０５を通過する点１３０５Ｂを示す。そして、図１４が示すように、通過点１３０５Ａと通過点１３０５Ｂを中心に、対応領域の探索範囲を限定することができる。例えば、テンプレートになる部分領域が１３０５A付近にあるとすると、画像１１０５の１３０５B付近に対応領域の探索範囲を絞れば良い。同じく、テンプレートになる部分領域が１３０５Aの右上方向にあるとすると、画像１１０５の１３０５Bの右上方向付近に対応領域の探索範囲を絞れば良い。
In order to shorten the search processing time in step S1503, the search range of the corresponding region can be narrowed. FIG. 13 shows a photographing apparatus having the same arrangement configuration as FIG. Here, the
ステップS１５０４では、対応領域が決まった時点で画像１２０９への画素値（ＲＧＢ）書き込みを行っても良い。 In step S1504, pixel values (RGB) may be written into the image 1209 when the corresponding area is determined.
以上の処理により、全周方向のパノラマ画像を撮像する一台の双曲面ミラー型パノラマ撮像装置（９０９）と、周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）を用いることで、全周方向のパノラマ画像をもとにした二重像がない画像構成と、高解像度である複数の参照用カメラ画像の利点を合わせることができるため、二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。 Through the above processing, a single hyperboloid mirror type panoramic imaging device (909) that captures panoramic images in the entire circumference and a plurality of reference cameras (901 to 908) that capture surrounding partial images are used. Because the advantages of the image structure without a double image based on the panoramic image in the entire circumference and the multiple reference camera images with high resolution can be combined, a double image does not occur and a high A panoramic image with resolution can be easily obtained.
なお、双曲面ミラー型パノラマ撮像装置（９０９）には、双曲面ミラーの代わりに、たとえば魚眼レンズなどの、全周方向の情景を視界に入れることができる光学デバイスを取り付けてもよい。 The hyperboloidal mirror type panoramic imaging device (909) may be provided with an optical device that can enter a scene in the entire circumference direction, such as a fisheye lens, instead of the hyperboloidal mirror.
（第３の実施例）
次に、本実施形態では、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する色合いにばらつきのある複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度、さらには色合いが統一されたパノラマ映像を得るため方法の説明を行う。この方法を説明するために、例えば第２の実施形態における画像１００２の部分画像１００２'、および第２の実施形態における画像１１０１の部分画像１１０１'を図１６に示して説明を行う。ここで画像１００２は、周囲のパノラマ画像を撮像する一台の広画角カメラによって撮像された画像を変換した図１０に示す画像である。また画像１１０１は、周囲の部分画像を撮像する複数の参照用カメラのうち１台によって撮像された図１１に示す画像である。本実施形態においては、複数の参照用カメラによって撮像された画像のうち画像１１０１についてのみ説明を行うが、図１１に示す他の画像１１０２〜１１０８に対しても同様の処理を行う。
(Third embodiment)
Next, in this embodiment, a double image is generated using a single wide-angle camera that captures a surrounding panoramic image and a plurality of reference cameras that vary in hue for capturing a surrounding partial image. A method for obtaining a panoramic image without high resolution and with a uniform hue will be described. In order to describe this method, for example, a
本実施形態においては、図１０の画像１００２を（画像１１０１の解像度に合わせるために）画像１００５に拡大する際の幾何学変換式Ｈ１００４として、例えば縦横それぞれ２倍に拡大する場合について説明を行う。すなわち、部分画像１００２'の１画像は、対応する部分画像１１０１'の４画素分に相当することになる。ここで、図１６に示す部分画像１００２'中の太線で囲った画素１６０２と、部分画像１１０１'中の太線で囲った画素１６０１ａ〜ｄが対応することとする。対応領域の探索については第２の実施形態において説明を行ったとおりである。また、部分画像１００２'の各画素、および部分画像１１０１'の各画素は、色情報として（Ｙ，Ｕ，Ｖ）情報を持つ。この色情報のうち、Ｙは輝度、Ｕは赤の色差、Ｖは青の色差を表す。またこの色情報は、デジタルビデオのデータフォーマットなどとして利用されている。
In the present embodiment, a case will be described in which, for example, the
ここで、部分画像１００２'と部分画像１１０１'の色合いを統一するために、例えば部分画像１１０１'の各画素輝度成分（Ｙ）を部分画像１００２'の各画素輝度成分（Ｙ）に合わせるように調整する場合について説明を行う。画素１６０２の輝度値をＹ１６０２、画素１６０１ａの輝度値をＹ１６０１ａ、画素１６０１ｂの輝度値をＹ１６０１ｂ、画素１６０１ｃの輝度値をＹ１６０１ｃ、画素１６０１ｄの輝度値をＹ１６０１ｄとする。また、画素１６０１ａの輝度値調整後の輝度値をＹ１６０１ａ'、画素１６０１ｂの輝度値調整後の輝度値をＹ１６０１ｂ'、画素１６０１ｃの輝度値調整後の輝度値をＹ１６０１ｃ'、画素１６０１ｄの輝度値調整後の輝度値Ｙ１６０１ｄ'とする。
Here, in order to unify the hues of the
画素１６０１ａ〜ｄの輝度値調整後の輝度値Ｙ１６０１ａ'〜ｄ'を求めるには、式２〜５に示すように、輝度値Ｙ１６０１ａ〜ｄそれぞれに輝度値Ｙ１６０１ａ〜ｄの平均値の逆数と、輝度値Ｙ１６０２をスケールファクターとしてかけてやればよい。
In order to obtain the luminance values Y1601a ′ to d ′ after adjusting the luminance values of the
ここで、幾何学変換式Ｈ１００４として縦横２倍以外の変換式を用いても、色合い調整のための成分として輝度成分（Ｙ）以外を利用しても、さらには色合い調整のための色情報として（Ｙ，Ｕ，Ｖ）情報以外を利用してもよいことは言うまでもない。 Here, even if a conversion formula other than the vertical / horizontal double is used as the geometric conversion formula H1004, a component other than the luminance component (Y) is used as a component for adjusting the hue, and color information for adjusting the hue is used. Needless to say, information other than (Y, U, V) information may be used.
以上のように、部分画像１１０１'の各画素の輝度成分を、対応する部分画像１００２'の各画素の輝度成分に合わせるように調整を行い、さらには画像１１０１〜１１０８の各画素の輝度成分を、対応する画像１００２の各画素の輝度成分に合わせるように調整を行うことで、色合いにばらつきがある画像１１０１〜１１０８の色合いと、画像１００２の色合いを統一することができる。また、色合い調整された画像１１０１〜１１０８の画素値を、拡大された画像１００５に入力することで、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度、さらには色合いが統一されたパノラマ映像を得ることができる。
As described above, adjustment is performed so that the luminance component of each pixel of the
また、本実施形態においては、画像１００２の各画素の輝度成分を、対応する画像１１０１〜１１０８の各画素の輝度成分に合わせるように調整を行い、色合いにばらつきがある画像１１０１〜１１０８の色合いと、画像１００２の色合いを統一して処理を行ってもよいことは言うまでもない。
In the present embodiment, adjustment is performed so that the luminance component of each pixel of the
（他の実施形態）
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
(Other embodiments)
A software program that realizes the functions of the above-described embodiments is supplied directly from a recording medium or to a system or apparatus having a computer that can execute the program using wired / wireless communication. The present invention includes a case where an equivalent function is achieved by a computer executing the supplied program.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。 As a recording medium for supplying the program, for example, a magnetic recording medium such as a flexible disk, a hard disk, a magnetic tape, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R, DVD- There are optical / magneto-optical storage media such as RW, and non-volatile semiconductor memory.
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。 As a program supply method using wired / wireless communication, a computer program forming the present invention on a server on a computer network, or a computer forming the present invention on a client computer such as a compressed file including an automatic installation function A method of storing a data file (program data file) that can be a program and downloading the program data file to a connected client computer can be used. In this case, the program data file can be divided into a plurality of segment files, and the segment files can be arranged on different servers.
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
That is, the present invention includes a server device that allows a plurality of users to download a program data file for realizing the functional processing of the present invention on a computer.
In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to the user, and key information for decrypting the encryption for a user who satisfies a predetermined condition is provided via a homepage via the Internet, for example. It is also possible to realize the program by downloading it from the computer and executing the encrypted program using the key information and installing it on the computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer based on an instruction of the program is a part of the actual processing. Alternatively, the functions of the above-described embodiment can be realized by performing all of them and performing the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 Furthermore, after the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board or The CPU of the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
Claims (10)
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
前記第二の画像の解像度を調整する調整手段と、
前記複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、
前記対応探索手段の探索結果をもとに、前記複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。 First image acquisition means for acquiring a plurality of images captured by a plurality of imaging units;
Second image acquisition means for acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
Adjusting means for adjusting the resolution of the second image;
Correspondence search means for searching for correspondence between the plurality of images and the second image whose resolution is adjusted by the adjustment means;
An image comprising: a generating unit configured to generate a third image from the plurality of images and a second image whose resolution is adjusted by the adjusting unit based on a search result of the correspondence searching unit. Processing equipment.
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
前記複数の画像の解像度を調整する調整手段と、
前記調整手段によって解像度を調整された複数の画像、および前記第二の画像の対応を探索する対応探索手段と、
前記対応探索手段の探索結果をもとに、前記調整手段によって解像度を調整された複数の画像および前記第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。 First image acquisition means for acquiring a plurality of images captured by a plurality of imaging units;
Second image acquisition means for acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
Adjusting means for adjusting the resolution of the plurality of images;
Correspondence search means for searching for correspondence between the plurality of images adjusted in resolution by the adjustment means and the second image;
An image comprising: a generation unit configured to generate a third image from a plurality of images adjusted in resolution by the adjustment unit and the second image based on a search result of the correspondence search unit. Processing equipment.
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
前記複数の画像、および前記第二の画像の解像度を調整する調整手段と、
前記調整手段によって解像度を調整された複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、
前記対応探索手段の探索結果をもとに、前記調整手段によって解像度を調整された複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。 First image acquisition means for acquiring a plurality of images captured by a plurality of imaging units;
Second image acquisition means for acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
Adjusting means for adjusting the resolution of the plurality of images and the second image;
Correspondence search means for searching for correspondence between a plurality of images whose resolution is adjusted by the adjustment means and a second image whose resolution is adjusted by the adjustment means;
Generating means for generating a third image from a plurality of images whose resolution is adjusted by the adjusting means and a second image whose resolution is adjusted by the adjusting means, based on a search result of the correspondence searching means; An image processing apparatus comprising:
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
前記第二の画像の解像度を調整する調整工程と、
前記複数の画像、および前記調整工程によって解像度を調整された第二の画像の対応を探索する対応探索工程と、
前記対応探索工程の探索結果をもとに、前記複数の画像、および前記調整工程によって解像度を調整された第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。 A first image acquisition step of acquiring a plurality of images captured by a plurality of imaging units;
A second image acquisition step of acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
An adjustment step of adjusting the resolution of the second image;
A correspondence search step of searching for correspondence between the plurality of images and a second image whose resolution is adjusted by the adjustment step;
And a generation step of generating a third image from the plurality of images and a second image whose resolution is adjusted by the adjustment step based on a search result of the correspondence search step. Image processing method.
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
前記複数の画像の解像度を調整する調整工程と、
前記調整工程によって解像度を調整された複数の画像、および前記第二の画像の対応を探索する対応探索工程と、
前記対応探索工程の探索結果をもとに、前記調整工程によって解像度を調整された複数の画像、および前記第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。 A first image acquisition step of acquiring a plurality of images captured by a plurality of imaging units;
A second image acquisition step of acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
An adjustment step of adjusting the resolution of the plurality of images;
A correspondence search step for searching for correspondence between the plurality of images whose resolution is adjusted by the adjustment step and the second image;
And a generation step of generating a third image from the plurality of images adjusted in resolution by the adjustment step and the second image based on a search result of the correspondence search step. Image processing method.
前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
前記複数の画像、および前記第二の画像の解像度を調整する調整工程と、
前記調整工程によって解像度を調整された複数の画像、および前記調整工程によって解像度を調整された第二の画像の対応を探索する対応探索工程と、
前記対応探索工程の探索結果をもとに、前記調整工程によって解像度を調整された複数の画像および前記調整工程によって解像度を調整された第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。 A first image acquisition step of acquiring a plurality of images captured by a plurality of imaging units;
A second image acquisition step of acquiring a second image captured by a second imaging unit having an imaging field of view that overlaps an imaging field of view of each of the plurality of imaging units;
An adjustment step of adjusting the resolution of the plurality of images and the second image;
A correspondence search step for searching for correspondence between a plurality of images whose resolution is adjusted by the adjustment step and a second image whose resolution is adjusted by the adjustment step;
A generating step for generating a third image from a plurality of images whose resolution is adjusted by the adjusting step and a second image whose resolution is adjusted by the adjusting step based on the search result of the correspondence searching step. An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004360835A JP2006171939A (en) | 2004-12-14 | 2004-12-14 | Image processor and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004360835A JP2006171939A (en) | 2004-12-14 | 2004-12-14 | Image processor and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006171939A true JP2006171939A (en) | 2006-06-29 |
Family
ID=36672649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004360835A Withdrawn JP2006171939A (en) | 2004-12-14 | 2004-12-14 | Image processor and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006171939A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009015655A (en) * | 2007-07-05 | 2009-01-22 | Toyota Motor Corp | Image processor |
| JP2009124685A (en) * | 2007-11-09 | 2009-06-04 | Mitsubishi Electric Research Laboratories Inc | Method and system for combining videos for display in real-time |
| JP2010011223A (en) * | 2008-06-27 | 2010-01-14 | Sony Corp | Signal processing apparatus, signal processing method, program, and recording medium |
| JP2010039501A (en) * | 2008-07-31 | 2010-02-18 | Kddi Corp | Method for generating free viewpoint video image in three-dimensional movement, and recording medium |
| JP2010057198A (en) * | 2006-09-06 | 2010-03-11 | Casio Comput Co Ltd | Imaging device, photographic method and program |
| JP2010130628A (en) * | 2008-12-01 | 2010-06-10 | Sharp Corp | Imaging apparatus, image compositing device and image compositing method |
| WO2014091985A1 (en) * | 2012-12-11 | 2014-06-19 | コニカミノルタ株式会社 | Compound optical system and imaging device using same |
| WO2014091986A1 (en) * | 2012-12-11 | 2014-06-19 | コニカミノルタ株式会社 | Compound optical system and imaging device using same |
| JP2016139407A (en) * | 2015-01-22 | 2016-08-04 | カミエンス・テクノロジー株式会社 | Image display device, image display method and image display program |
| CN117593225A (en) * | 2023-11-14 | 2024-02-23 | 自行科技(武汉)有限公司 | Method, system, equipment and storage medium for processing optical center deviation under electronic rearview mirror |
-
2004
- 2004-12-14 JP JP2004360835A patent/JP2006171939A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010057198A (en) * | 2006-09-06 | 2010-03-11 | Casio Comput Co Ltd | Imaging device, photographic method and program |
| JP2009015655A (en) * | 2007-07-05 | 2009-01-22 | Toyota Motor Corp | Image processor |
| JP2009124685A (en) * | 2007-11-09 | 2009-06-04 | Mitsubishi Electric Research Laboratories Inc | Method and system for combining videos for display in real-time |
| JP4513905B2 (en) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | Signal processing apparatus, signal processing method, program, and recording medium |
| JP2010011223A (en) * | 2008-06-27 | 2010-01-14 | Sony Corp | Signal processing apparatus, signal processing method, program, and recording medium |
| JP2010039501A (en) * | 2008-07-31 | 2010-02-18 | Kddi Corp | Method for generating free viewpoint video image in three-dimensional movement, and recording medium |
| JP2010130628A (en) * | 2008-12-01 | 2010-06-10 | Sharp Corp | Imaging apparatus, image compositing device and image compositing method |
| WO2014091985A1 (en) * | 2012-12-11 | 2014-06-19 | コニカミノルタ株式会社 | Compound optical system and imaging device using same |
| WO2014091986A1 (en) * | 2012-12-11 | 2014-06-19 | コニカミノルタ株式会社 | Compound optical system and imaging device using same |
| JPWO2014091985A1 (en) * | 2012-12-11 | 2017-01-12 | コニカミノルタ株式会社 | Compound eye optical system and imaging apparatus using the same |
| US9591241B2 (en) | 2012-12-11 | 2017-03-07 | Konica Minolta, Inc. | Compound eye optical system and imaging device using the same |
| JP2016139407A (en) * | 2015-01-22 | 2016-08-04 | カミエンス・テクノロジー株式会社 | Image display device, image display method and image display program |
| CN117593225A (en) * | 2023-11-14 | 2024-02-23 | 自行科技(武汉)有限公司 | Method, system, equipment and storage medium for processing optical center deviation under electronic rearview mirror |
| CN117593225B (en) * | 2023-11-14 | 2024-05-28 | 自行科技(武汉)有限公司 | Method, system, equipment and storage medium for processing optical center deviation under electronic rearview mirror |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3356887B1 (en) | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama | |
| US7583288B2 (en) | Panoramic video | |
| JP3962676B2 (en) | Image processing method and apparatus | |
| US7400782B2 (en) | Image warping correction in forming 360 degree panoramic images | |
| US7855752B2 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system | |
| JP6157606B2 (en) | Image fusion method and apparatus | |
| KR100924411B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN108445705B (en) | Image processing apparatus, image processing method, and program | |
| US20050008254A1 (en) | Image generation from plurality of images | |
| US20170061686A1 (en) | Stage view presentation method and system | |
| JP2000125190A (en) | Camera system and recording medium | |
| JP2006171939A (en) | Image processor and method | |
| US8019180B2 (en) | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager | |
| JP2005020607A (en) | Composite image output device and composite image output processing program | |
| JP2005175620A (en) | Image processing method and apparatus | |
| JP2011205380A (en) | Image processing apparatus | |
| JP4001233B2 (en) | Panorama shooting method and image processing apparatus and image pickup apparatus capable of using the method | |
| JPH10208074A (en) | Picture generation method | |
| Wang et al. | A common feature-based disparity control strategy in stereoscopic panorama generation | |
| JPH11275393A (en) | Image input device, image input method and recording medium | |
| JP2004046777A (en) | Image processor, image processing method used therefor, and its program | |
| JP4006056B2 (en) | Image composition apparatus, image composition method, and storage medium | |
| JP4325108B2 (en) | Captured image composition apparatus and method | |
| KR20060059302A (en) | Method for supplying user interface to generate panoramic image | |
| JP6700539B2 (en) | Video processing device, video processing method, and video processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080304 |