JP2016006654A - Visual field video information generation device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To solve the discontinuous phenomenon of a video which occurs due to a parallax caused by a difference between the photographic point and photographic position of image information in the case of switching image information to be displayed.SOLUTION: The visual field video information generation device includes: a database for storing photographic position information and photographic directions during photography in association with sub-areas photographed when the image information is acquired; a route visual point designation device for designating a plurality of positions and visual line directions arranged on a visual point route; and a moving image generation engine for searching video information in the case of viewing a visual line direction designated from the visual point route designated by the route visual point designation device to generate moving image information, that is, a moving image generation engine for, by referring to the photographic direction information associated with the sub-areas stored in the database, searching the image information including the sub-area positioned in the visual line direction at each of a plurality of positions on the visual point route and the photographic position information associated with the image information.

Description

本発明は、視界映像情報生成装置に関する。特に、市街地を含む地上の景観について視界映像を生成するシステムにおいて、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムおよび視界映像情報を生成する装置に関し、また、地上を様々な角度から撮像した写真を利用する３次元都市視界映像を生成表示する装置に関するものである。特に、地上を様々な角度から撮像した写真を利用する視界映像システムにおいて、対象物の位置基準面からの高さ方向の距離による視差による視界画像表示位置のずれを使用する写真を切り替えるときに補正し、滑らかな連続表示を実現する。   The present invention relates to a field-of-view video information generation device. In particular, in a system for generating a visual field image of a landscape on the ground including an urban area, the present invention relates to a system that uses an aerial photograph taken from above in an airplane or the like, or a photograph taken on the ground on a road, and an apparatus that generates visual image information. The present invention also relates to an apparatus for generating and displaying a three-dimensional city view image using photographs taken from various angles on the ground. In particular, in a field-of-view video system that uses photographs taken from various angles of the ground, it is corrected when switching between photographs that use the displacement of the view image display position due to parallax due to the distance in the height direction from the position reference plane of the object. And smooth continuous display.

従来、市街を含む地上の景観の視界映像を表示する方式として、市街および地形の立体モデルを作成し、該表面をテクスチャーマッピングにより貼り付け、得られた３次元モデルに対して３次元画像処理により視界映像を得る方法がある。この方法は、教科書的な方法で広く行われているが、立体モデルを作成する工数と立体モデルが構成するポリゴンにテクスチャーを貼り付ける工数がかかり、とくに実写真をテクスチャーマッピングにより貼り付ける場合にはリアリズムは高くなるが、極めて多くの工数が必要でコスト高となり、即応性にもかける欠点がある。 Conventionally, as a method of displaying a view image of a landscape including a city, a three-dimensional model of a city and terrain is created, the surface is pasted by texture mapping, and the obtained three-dimensional model is subjected to three-dimensional image processing. There is a way to get a view image. This method is widely used as a textbook method, but it takes man-hours to create a 3D model and man-hours to apply a texture to the polygons of the 3D model, especially when pasting an actual photo by texture mapping. Although realism is high, it requires a very large number of man-hours, increases costs, and has the disadvantage of being responsive.

特許文献２の方法はステレオ写真測量と同じ原理で、リアルタイムで対象物の３次元情報を得ている。すなわち、２つの共通な撮影対象物のパノラマ画像の対応点の情報を利用して、三角測量法により撮影対象の３次元情報を得る。表示に際して使用するパノラマ画像の組み合わせが変化するたびに三角測量法により撮影対象の３次元情報を得て、パノラマ画像の隣接する対応点を結ぶとポリゴンが形成されるが、このポリゴンごとへのテクスチャマッピングを行う。さらに一般に行われている３次元動画生成元のポリゴン情報から視界生成の行列変換をおこなう。 The method of Patent Document 2 obtains three-dimensional information of an object in real time on the same principle as stereophotogrammetry. That is, the three-dimensional information of the photographing target is obtained by the triangulation method using the information of the corresponding points of the panoramic images of the two common photographing targets. Each time a combination of panoramic images used for display is changed, a triangulation method is used to obtain three-dimensional information of the object to be photographed, and polygons are formed by connecting adjacent corresponding points of the panoramic image. Perform mapping. Furthermore, a matrix conversion for visual field generation is performed from polygon information of a three-dimensional moving image generation source that is generally performed.

特許文献３の方法はひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システムであり、実画像を撮影してパノラマ画像を動画で生成するシステムである。パノラマ環状レンズ（ＰＡＬ）システム、ビデオカメラ、及びＰＣベースのソフトウェア・システムから構成され、ＰＡＬシステムは、双曲面鏡及び楕円面鏡の２つのミラーで３６０度の水平視野と９０度の垂直視野をビデオカメラに写しこむ。再生時にはソフトウェア・システムで撮影された画像を３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開するものである。展開するためのシステムはレイ・トレーシング・プログラムであり、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、画像をリアルタイムで得る。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いて、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能である。 The method of Patent Document 3 is a panoramic video system that displays an undistorted image in real time, and is a system that captures an actual image and generates a panoramic image as a moving image. Consisting of a panoramic annular lens (PAL) system, a video camera, and a PC-based software system, the PAL system provides a 360 degree horizontal field of view and a 90 degree vertical field of view with two mirrors: a hyperboloidal mirror and an ellipsoidal mirror. Copy to video camera. At the time of reproduction, images taken by the software system are developed in real time into 360-degree video images that are seamless and have no distortion. The system for development is a ray tracing program that converts a distorted spherical image into a planar panoramic image on Cartesian coordinates and obtains the image in real time. A graphic user interface (GUI) can be used to determine any breakpoint (panoramic image centerline), zoom in or zoom out functionality, and built-in calibration.

これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（テクスチャ貼り付け）必要があった、このテクスチャ貼り付け情報、言い換えるとテクスチャ貼り付けのための情報としては３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャ貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元映像で表示することは強く望まれていたにもかかわらず、テクスチャ貼り付けの精度を十分に現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。   Both of these methods require time and cost to generate a three-dimensional model of a city, that is, a three-dimensional model. Further, in order to make a solid outer wall of a building or the like identical to the actual one, pattern information on the outer wall or The image information needs to be pasted (texture pasting). This texture pasting information, in other words, the information for pasting the texture, information from all directions of the three-dimensional object is indispensable. It took a lot of labor and cost to paste the texture. In this way, although it is strongly desired to display a landscape of an arbitrary city part as a three-dimensional image from an arbitrary aerial route and line of sight, the accuracy of texture pasting cannot be sufficiently realistic, or The update cycle of information has become longer, and the freshness and accuracy of the displayed video often have difficulties.

これらの技術の欠点を解決する方法として特許文献１「画像情報出力方法」になる方法があり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングを行う。さらに地上においても人間目線のリアルな映像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングを行うものである。特許文献４の方法は、特許文献１の技術を用いた、対象地域が線状の場合の応用例である。   As a method for solving the disadvantages of these techniques, there is a method that becomes a patent document 1 “image information output method”, and a system capable of capturing a wide range of multi-directional images with high-density mesh points in the air in an aircraft or the like, Create a database of these large amounts of images, build a system that quickly searches for images with the least amount of parallax when looking at any position in the city from any direction, and in addition to the specified viewpoint, line of sight, and city Morphing is performed to continuously generate a smooth video from an image with the least amount of parallax corresponding to the position. In addition, in order to create realistic images of the human eye on the ground, a dedicated vehicle-mounted system that acquires images in all directions at high density on every road or aisle in the city has been built. Create a database to build a system that quickly searches for images with the least parallax when viewing any position on the streets of a city from any direction with any human eye, and also specifies a specified viewpoint, line of sight, and position in the city In response to the above, morphing is performed to continuously generate a smooth video from an image having the smallest parallax. The method of Patent Document 4 is an application example using the technique of Patent Document 1 when the target area is linear.

特願2009-119484号Japanese Patent Application No. 2009-119484 特開2006-350852JP 2006-350852 特願2006-517853Japanese Patent Application 2006-517853 特許第4418857号Patent No. 4418857

しかしながら特許文献１の方法は、地表に関するDEM（digital elevation model））情報以外に地上構造物の高さ情報を持っていないため、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して生じる視点位置の相違による視差を解消することが原理的に不可能である。また、この問題を解決する方法も従来考えられていなかった。都市構造物の３次元情報を計測し３次元モデルを生成し、さらのその表面に実画像によるテクスチャー貼り付け等の手数を経ずに実写真によるリアリティーの高い視界映像を短時間で得られる利点がある反面、建物等の３次元情報を持っていないため、視界映像生成に使用する実写画像を切り替える時点で視差による映像の位置ずれが発生し、滑らかな視界映像が得られないという欠点があった。 本発明は、このような実情に鑑みてなされたものである。   However, since the method of Patent Document 1 does not have the height information of the ground structure other than the DEM (digital elevation model) information on the ground surface, the ground surface structure can be determined only from the viewpoint position, the line-of-sight direction, and the position information of the actual image. In principle, it is impossible to eliminate the parallax caused by the difference in viewpoint position caused by the height of the image. In addition, a method for solving this problem has not been considered. Advantages of measuring 3D information of urban structures, generating 3D models, and obtaining highly realistic view images with real photos in a short time without the need for pasting textures with real images on the surface. On the other hand, because it does not have 3D information such as buildings, there is a drawback that the video is misaligned due to parallax at the time of switching the live-action image used for visual field image generation, and a smooth visual field image cannot be obtained. It was. The present invention has been made in view of such circumstances.

本発明の一実施形態として、視点位置、視線方向、実写画像の位置情報だけからでは解消できない地表構造物の高さに起因して発生する異なった視点に対する視差を画像認識技術を用いて解消した。すなわち、同一の地物を視線で捉えながら視点を移動させると、特許文献１の方法では、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近い。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高い。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。   As an embodiment of the present invention, the parallax for different viewpoints caused by the height of the ground structure that cannot be resolved only from the position information of the viewpoint position, the line-of-sight direction, and the position of the photographed image is eliminated using image recognition technology. . That is, when the viewpoint is moved while capturing the same feature with the line of sight, the method of Patent Document 1 cannot maintain the continuity of the visual field image due to the parallax at the time of switching the actual image to be used. If the attention point of the specific feature is limited, the viewpoints of viewing the feature before and after the switching of the real image are close to each other, and the visual line direction is also close. That is, even if the position-related attribute of the visual field image cannot be maintained, the attention point of the specific feature exists at a close location in the visual image, and the shape of the feature in the visual image is highly similar. Paying attention to this, image matching is performed around the point of interest of a specific feature in the view image, and the display coordinates of the view image at the time of switching the live image are shifted so that the positions of the matched images overlap, and if necessary Thus, the enlargement / reduction ratio is changed.

さらに本発明が用いる特許文献１の方法では、同一の地物に対して異なる視点から撮影した実写画像を用いた視界映像は視差により完全には一致しない。このため位置あわせの画像マッチングを行うのは視界内の特定の部分を中心に行う必要があり、本発明の一実施形態として、選択により（１）画像の中央部分、（２）カーソルで指定した部分、（３）アイトラッカーなどの視線検出器により検出した視界映像画面上の位置を基準として、マッチングした画像が重なるように実写画像切替時の視界映像の表示座標をずらすのである。 Furthermore, in the method disclosed in Patent Document 1 used by the present invention, the visual field images using the real images taken from different viewpoints with respect to the same feature do not completely match due to the parallax. For this reason, it is necessary to perform image matching for registration centering on a specific part in the field of view. As one embodiment of the present invention, (1) the center part of the image and (2) the cursor are designated by selection. Part (3) The display coordinates of the view image at the time of actual image switching are shifted so that the matched images overlap with each other on the basis of the position on the view image screen detected by a line-of-sight detector such as an eye tracker.

また、本発明の一実施形態として、前記画像マッチング処理を視界映像生成時間に影響を与えないように行うため、視界映像生成処理と並行して同期を取りながら別プロセッサで並列処理により実施する。またこの並列処理の形態として、同一ＣＰＵチップ内に複数のコアを含み、複数のスレッドを有するＩｎｔｅｌ ｉ７のようなＣＰＵを使用して並列処理をさせることが好ましい。   Further, as an embodiment of the present invention, the image matching process is performed in parallel with a separate processor while synchronizing with the view image generation process in order to perform the image matching process without affecting the view image generation time. As a form of this parallel processing, it is preferable to perform parallel processing using a CPU such as Intel i7 that includes a plurality of cores in the same CPU chip and has a plurality of threads.

また、本発明の一実施形態として、画像マッチングを高速に実行する必要があるため、各実写画像に対して画像マッチングを容易にできるように事前に加工を行い、各実写画像と共にメモリに事前に記憶しておくこともできる。こうのような画像マッチング用の画像は専ら計算処理に使用するものであるので、画像のサブ領域ごとの輝度分布が平準化するように処理したものが適している。   In addition, as one embodiment of the present invention, since it is necessary to execute image matching at high speed, processing is performed in advance so that image matching can be easily performed on each photographed image, and in advance in the memory together with each photographed image. You can also remember it. Since such an image for image matching is exclusively used for calculation processing, an image processed so that the luminance distribution for each sub-region of the image is leveled is suitable.

以上のように、、３次元数値モデル生成と建造物の表面に対するテクスチャ貼り付け処理を行わずに、実画像を用いて任意の場所に対して任意の視点経路と視点方向に対する視界映像を画像取得から短時間で生成することができる特許文献１の方法に対して、この方法が対象物の３次元情報を持っていないが故に発生する、視界生成に使用する実写画像の切替時に発生する映像の位置ズレを補償し、視界映像の不連続性を解消してなめらかな映像を得ることができる。   As described above, without obtaining the 3D numerical model and pasting the texture on the surface of the building, use the actual image to obtain the visual field image for the arbitrary viewpoint path and viewpoint direction for the arbitrary location. In contrast to the method of Patent Document 1 that can be generated in a short time, the method does not have the three-dimensional information of the object, and is generated when the photographed image used for visual field generation is switched. A smooth image can be obtained by compensating the positional deviation and eliminating the discontinuity of the view image.

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明を行なう。なお、本発明は以下の説明に限定されることはなく、その要旨を逸脱しない範囲において種々に変形を加えて実施することが可能である。
本発明は特許文献１の改良発明であるため、まず特許文献１になる方法を図２から図４を用いて説明する。図２は、実写画像取得の概念を示す図であり、本発明の最大のかつ共通の技術的特徴は、視界映像生成において第一に対象地物の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けしないことである。これら人手とコストが必要な作業を排除する代わりに、対象地物のあらゆる位置について事前にあらゆる方向から実写画像を取得しておき、これを必要に応じて選択、変形して利用することである。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. The present invention is not limited to the following description, and various modifications can be made without departing from the scope of the invention.
Since the present invention is an improved invention of Patent Document 1, the method of Patent Document 1 will be described first with reference to FIGS. FIG. 2 is a diagram showing the concept of real image acquisition, and the greatest and common technical feature of the present invention is that, in view image generation, first, a three-dimensional model of a target feature is not generated. Secondly, the texture of the outer wall surface pattern or outer wall surface photograph is not pasted on the three-dimensional model generated. Instead of eliminating these manual and costly tasks, it is possible to acquire live-action images from all directions in advance for every position of the target feature, and select and transform them as necessary. .

航空機151はディジタルカメラ集合体光軸方向153に示す方向を指向する多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路150に沿って飛行しながら、一定間隔ごとの撮影ポイント152で地表を撮影する。飛行経路150と撮影ポイント152を網目状に濃密に設定し同時に多方向の画像を撮影することにより、図3に示す該充分小さい立体角の範囲ｉ180ごとの画像を取得する。 The aircraft 151 is equipped with a digital camera assembly containing a number of digital cameras oriented in the direction indicated by the optical axis direction 153 of the digital camera assembly. The aircraft 151 flies along the flight path 150 at the shooting points 152 at regular intervals. Shoot the ground surface. By setting the flight path 150 and the shooting points 152 densely in a mesh pattern and simultaneously shooting images in multiple directions, an image for each sufficiently small solid angle range i180 shown in FIG. 3 is acquired.

図３では都市160の上空を覆う天球181を充分小さい立体角の範囲ｉ 180で示すように半頂角２度から４０度の円錐ないし正６角柱で分割する。この立体角は半頂角θ度に対して2π(1-cosθ)で計算され、最小0.04ステラジアンから最大0.59ステラジアンの範囲で、地表近くを除く天球181を分割し、地表のあらゆる場所の画像を該立体角ごとに準備する。航空機151に搭載した多方向を撮影可能なディジタルカメラ集合体はこの目的に供する。 In FIG. 3, the celestial sphere 181 covering the sky of the city 160 is divided by a cone or a regular hexagonal column with a half apex angle of 2 to 40 degrees as shown by a sufficiently small solid angle range i 180. This solid angle is calculated as 2π (1-cosθ) with respect to the half apex angle θ degrees, and the celestial sphere 181 except for the vicinity of the ground surface is divided in the range from the minimum 0.04 steradian to the maximum 0.59 steradian, and images of every place on the ground surface Prepare for each solid angle. A digital camera assembly mounted on the aircraft 151 and capable of photographing multiple directions serves this purpose.

図４は特許文献１になる視界映像発生の概念を説明した図である。図３で示すように都市160に対して天球の多方向から撮影した実写画像が用意されているので、これを用いて図４における視界映像を生成する。例として、視点経路P(t) 200に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 20７に沿って視界にとらえる。該目標トラジェクトリT(t) 20７は該視点経路P(t) 200上の位置から、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、時刻ｔ+2δｔ の視線203、時刻ｔ+3δｔ の視線 204、時刻ｔ+4δｔ の視線205、および時刻ｔ+5δｔ の視線206によりδｔごとにとらえられた地表上の軌跡である。     FIG. 4 is a diagram illustrating the concept of visual field image generation disclosed in Patent Document 1. In FIG. As shown in FIG. 3, a live-action image taken from multiple directions of the celestial sphere is prepared for the city 160, and this is used to generate the view image in FIG. 4. As an example, the viewpoint moves with time t along the viewpoint path P (t) 200, while the ground surface is caught in the field of view along the target trajectory T (t) 207. The target trajectory T (t) 207 moves from the position on the viewpoint path P (t) 200 to the line of sight 201 at time t 1, the line of sight 202 at time t + δt, the line of sight 203 at time t + 2δt, and the line of sight at time t + 3δt 2. 204, a trajectory on the ground surface captured for each δt by the line of sight 205 at time t + 4δt and the line of sight 206 at time t + 5δt.

該視点経路P(t) 200からの該目標トラジェクトリT(t) 20７に対する都市景観視界映像を生成する方法として、時刻ｔの視線201から時刻ｔ+5δｔの視線206に近く視差の少ない空中画像ｉ 190および空中画像ｉ+1 191を実写画像テ゛ータヘ゛ース１０１より検索し、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、および時刻ｔ+2δｔ の視線203の間は最も視線が近い空中画像ｉ 190を原画像として使用して、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、および時刻ｔ+2δｔ の視線203と空中画像ｉ 190の視線の間の視点の相違による視差を空中画像ｉ 190に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 204からは空中画像ｉ 190よりも空中画像ｉ+1 191の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 191を原画像に切り替え、時刻ｔ+3δｔ の視線 204、時刻ｔ+4δｔ の視線205、時刻ｔ+5δｔ の視線206と空中画像ｉ+1 191の視線の間の視点の相違による視差を空中画像ｉ+1 191に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t) 210に沿った都市景観の視界映像生成を行うのである。なお、モーフィング処理を行わずに空中画像ｉ 190と空中画像ｉ+1 191を切り替えるだけでもよい。 As a method of generating a cityscape view image for the target trajectory T (t) 207 from the viewpoint path P (t) 200, an aerial image i with little parallax is close to the line of sight 206 at time t + 5δt from the line of sight 201 at time t. 190 and the aerial image i + 1 191 are retrieved from the live-action image database 101, and the aerial image i 190 having the closest line of sight between the line of sight 201 at time t1, the line of sight 202 at time t + δt, and the line of sight 203 at time t + 2δt. Is used as the original image, and the parallax due to the difference in viewpoint between the line of sight 201 at time t 1, line of sight 202 at time t + δt 2, line of sight 203 at time t + 2δt and line of sight of the aerial image i 190 The aerial image i + 1 191 is determined to have less parallax due to a difference in viewpoint than the aerial image i 190 from the line of sight 204 at time t + 3δt. Switch to image, line of sight 204 at time t + 3δt, time The target trajectory is smoothed by correcting the parallax due to the difference in viewpoint between the line of sight 205 at + 4δt, the line of sight 206 at time t + 5δt and the line of sight of the aerial image i + 1 191 by morphing processing on the aerial image i + 1 191. The visual image generation of the cityscape along T (t) 210 is performed. Note that the aerial image i 190 and the aerial image i + 1 191 may be simply switched without performing the morphing process.

しかしながら前記特許文献１の方法は、地上構造物の高さ情報がないため、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して視点位置の相違による視差を解消することが原理的に不可能である。図５を用いてこのことを説明する。すなわち、視点A 210および視点B 211より地表 214の地表点Ｏ 213において、地表より高さｈ 215の点Ｐ 212を見た視界映像A 220と視界映像B 221を考える。 However, since the method of Patent Document 1 does not have the height information of the ground structure, the parallax due to the difference in the viewpoint position due to the height of the ground structure is obtained only from the viewpoint position, the line-of-sight direction, and the position information of the photographed image. Is impossible in principle. This will be described with reference to FIG. That is, a view image A 220 and a view image B 221 in which a point P 212 having a height h 215 from the ground surface is seen at the ground surface point O 213 on the ground surface 214 from the viewpoint A 210 and the viewpoint B 211 are considered.

地表点Ｏ 213の視界映像A 220における像OＡ 218は視界映像B 221における像ＯＢ 219に対応する。一方、地表 214より高さｈ 215の場所にある点Ｐ 212は視点A 210から見た視界映像A 220上では像ＰＡ 216となり、地表点R 223と重なる。視点B 211より見た点Ｐ 212の視界映像B 221上の場所は像QＢ 225であって、地表点Q 222と重なる。視点の相違により、点Ｐ 212の視界映像A 220と視界映像B 221上の位置が異なることになる。このことは、地表より高さのある地物は、使用する実写画像の視点（撮影点）が異なると視界映像上の位置が視差により跳躍することを意味し、図４で示す視界映像が実写原画像（空中画像 ｉ 190、空中画像 ｉ+1 191）の切替ごとに不連続に移動することを意味する。かかる視界映像上の不連続性は、特許文献１の方法に起因した現象であり、本発明は特許文献１の方法を使用しつつ、前記現象を解決するものである。 An image OA 218 in the visual field image A 220 of the ground surface point O 213 corresponds to the image OB 219 in the visual field image B 221. On the other hand, a point P 212 located at a height h 215 from the ground surface 214 is an image PA 216 on the field-of-view image A 220 viewed from the viewpoint A 210 and overlaps the ground surface point R 223. The place on the view image B 221 of the point P 212 viewed from the viewpoint B 211 is an image QB 225 and overlaps with the ground surface point Q 222. Due to the difference in viewpoint, the position of the point P 212 on the view image A 220 and the view image B 221 is different. This means that the feature on the surface of the ground surface jumps due to parallax if the viewpoint (shooting point) of the actual image to be used is different, and the view image shown in FIG. This means that the original image (aerial image i 190, aerial image i + 1 191) is moved discontinuously every time the image is switched. Such discontinuity on the visual field image is a phenomenon caused by the method of Patent Document 1, and the present invention solves the phenomenon while using the method of Patent Document 1.

図１は本発明になる視界映像情報生成装置の構成を示す。画像表示系 １００は特許文献１になる発明による部分であって、キーボード又はマウスを含む視点位置と視線方向を入力する視点・視線入力機構 １２２の設定入力値に従い、実写画像検索エンジン104が実写画像インデクス機構 １０２を参照して実写画像テ゛ータヘ゛ース１０１より最適な、（撮影時の視点と視線が視点位置・視線方向 125に最も近い）画像を検索し、視界映像生成システム １０５が表示装置１２１へ出力する視界映像を生成する。本出願になる発明部分は画像切替平滑系 １１０であって、画像表示系 １００において視界映像生成システム １０５が使用する実写画像を切り替えるときに発生する前記視界映像上の不連続性を解決する。すなわち、表示装置121画面上で、マウス又はアイ・トラッカーを含むオペレータ１３０の注目点入力機構１２３で入力される注目点位置 126の点で、前記実写画面切替時に視界映像上の不連続性が生じないようにする。画像比較情報
テ゛ータヘ゛ース１１１と視界映像位置補正システム１１２より構成されるが、その詳細構成と機能は図６以降に詳述する。 FIG. 1 shows the configuration of a visual field image information generating apparatus according to the present invention. The image display system 100 is a part according to the invention disclosed in Patent Document 1, and the photographed image search engine 104 performs the photographed image according to the set input value of the viewpoint / line-of-sight input mechanism 122 that inputs the viewpoint position and the line-of-sight direction including the keyboard or mouse. The index mechanism 102 is referenced to search for an optimal image (the viewpoint and line of sight at the time of shooting are closest to the viewpoint position / line-of-sight direction 125) from the captured image database 101, and the visual field image generation system 105 outputs the image to the display device 121. Generate a view image. The invention part which becomes this application is the image switching smoothing system 110, and solves the discontinuity on the visual field image that occurs when the real image used by the visual field image generation system 105 in the image display system 100 is switched. That is, discontinuity on the visual field image is generated at the point of interest point 126 input by the attention point input mechanism 123 of the operator 130 including the mouse or the eye tracker on the display device 121 screen when the real image screen is switched. Do not. The image comparison information database 111 and the visual field image position correction system 112 are configured in detail.

図６および図７は画像切替平滑系 １１０の機能を説明する図である。図６において視線方向１ 231および視線方向２ 232より建物 239を視界に含めるように基準点 233を見込んだ場合の関係を建物および視線方向の関係図 230に示す。この場合、同一の建物 239は視点と視線方向が異なるため、視線方向１より見た映像 234および視線方向２より見た映像 235のように異なって見える。図７は視差による視界映像画面上の位置への影響を説明する図である。基準点 233は地表上の点であり、DEMデータ 103により3次元データが求められているので、３次元コンピュータグラフィック技術で周知のとおり、視点と視線が決まれば視界映像上の位置が正確に定まる。図７（ａ）視線方向１より見た映像 234および、図７（ｂ）視線方向２より見た映像 235において基準点 233の画面上の位置は定まる。基準点 233を視点から視線で捉えながら使用する実写画像を切り替えると、図７（ｃ）に示すように、建物 239の3次元情報がないため視差により、視線方向１より見た映像 234と視線方向２より見た映像 235の位置が一般にずれて表示される。この場合、たとえば建物 239の端点を注目点 236としてオペレータ１３０が注視していると図７（ｃ）に示す視界表示は画面の平滑さを欠き好ましくない。 6 and 7 are diagrams for explaining the function of the image switching smoothing system 110. FIG. 6 shows a relationship 230 when the reference point 233 is viewed so that the building 239 is included in the field of view from the line-of-sight direction 1 231 and the line-of-sight direction 2232. In this case, since the same building 239 has a different viewpoint and line-of-sight direction, the image 234 viewed from the line-of-sight direction 1 and the image 235 viewed from the line-of-sight direction 2 look different. FIG. 7 is a diagram for explaining the influence of the parallax on the position on the view image screen. Since the reference point 233 is a point on the ground surface and 3D data is obtained from the DEM data 103, as is well known in the 3D computer graphic technology, the position on the field-of-view image is accurately determined if the viewpoint and line of sight are determined. . The position of the reference point 233 on the screen is determined in the image 234 viewed from the line-of-sight direction 1 in FIG. 7A and the image 235 viewed from the line-of-sight direction 2 in FIG. When the photographed image to be used is switched while viewing the reference point 233 from the viewpoint, as shown in FIG. 7C, there is no three-dimensional information of the building 239, so the image 234 and the line of sight viewed from the viewing direction 1 due to the parallax. The position of the image 235 viewed from direction 2 is generally shifted. In this case, for example, when the operator 130 is gazing at the end point of the building 239 as the attention point 236, the view display shown in FIG.

図７（ｄ）はオペレータ１３０の注目点をマウスカーソル、キーボード、またはアイ・トラッカを含む入力機構により求め、かかる注目点（図７（ｄ）の場合は建物 239の上部カド）で視界映像が元となる実写画像の切替時にも一致するように、表示する視界映像の表示画面上の位置をずらしたものである。かかる表示画面上の位置調整機能を持たせることにより視界映像の画面切替時の平滑さを実現することが本発明の目的であり、特許文献１の技術において使用する実写画像が３次元情報を保有しないことによる欠点を解消する技術である。 In FIG. 7D, the attention point of the operator 130 is obtained by an input mechanism including a mouse cursor, a keyboard, or an eye tracker, and a visual field image is displayed at the attention point (in the case of FIG. 7D, the upper corner of the building 239). The position of the field-of-view video to be displayed on the display screen is shifted so as to match even when the original actual image is switched. It is an object of the present invention to provide such a position adjustment function on the display screen so as to achieve smoothness when switching the screen of the visual field image, and the photographed image used in the technique of Patent Document 1 has three-dimensional information. This is a technology that eliminates the disadvantages of not doing so.

図８はかかる表示画面上の位置調整機能を実現する機構を説明する図である。画像切替平滑系 １１０および、画像表示系 100と画像切替平滑系 １１０の間の連接方法が本発明になる新規な部分であり、画像切替平滑系 １１０は画像表示系 100と同期しながら動作する。各構成部分の処理タイミングは図９のタイムチャートで示される。図９の左端の縦列は図８の各処理ブロックに対応し、各処理の横行は時間軸 260上での相互に処理タイミングを示す。曲線矢印は矢印の元の処理が終了するタイミングで矢印の先の処理が起動されることを示す。 FIG. 8 is a diagram for explaining a mechanism for realizing the position adjustment function on the display screen. The image switching smoothing system 110 and the connecting method between the image display system 100 and the image switching smoothing system 110 are novel parts of the present invention, and the image switching smoothing system 110 operates in synchronization with the image display system 100. The processing timing of each component is shown in the time chart of FIG. The column at the left end of FIG. 9 corresponds to each processing block in FIG. 8, and the row of each processing indicates processing timing on the time axis 260. A curved arrow indicates that the process at the end of the arrow is started at the timing when the original process of the arrow ends.

図９の意味するところは、画像表示系 100においては、視点・視線入力処理 127に引き続き、実写画像検索処理 262、実写画像展開処理 26３、視界映像生成処理 264が前段の処理結果を用いて結果を順次起動される。
画像切替平滑系 １１０では、画像表示系 100の実写画像検索処理 262の結果により画像比較情報検索処理 251、引き続いて画像比較情報展開処理 257が前段の処理結果を用いて結果を順次起動される。一方、注目点入力処理 １２8の結果と併せて比較情報領域選択処理 254が起動され、画像マッチング処理 255が起動され、その結果に基きズレ計出処理 256が行われる。ズレ計出処理 256の結果が画像表示系 100の視界映像生成処理 264の結果と合わされて画面出力処理 266が行われる。本発明の新規な点は、画像表示系 100と画像切替平滑系 １１０が図９に示すように並列に同時処理可能なことであり、近年のマルチコアCPUのアーキテクチャに適合するものである。 In the image display system 100, what is meant by FIG. 9 is that, following the viewpoint / line-of-sight input processing 127, the live-action image search processing 262, the live-action image development processing 263, and the visual field image generation processing 264 Are started sequentially.
In the image switching smoothing system 110, the image comparison information search process 251 and the image comparison information development process 257 are sequentially activated using the results of the previous stage based on the result of the actual image search process 262 of the image display system 100. On the other hand, the comparison information area selection process 254 is activated together with the result of the attention point input process 128, the image matching process 255 is activated, and the deviation calculation process 256 is performed based on the result. The result of the deviation calculation process 256 is combined with the result of the view image generation process 264 of the image display system 100, and the screen output process 266 is performed. The novel point of the present invention is that the image display system 100 and the image switching smoothing system 110 can be simultaneously processed in parallel as shown in FIG. 9, and is suitable for the architecture of recent multi-core CPUs.

表示装置121に表示される表示画像 124は図９の画像更新周期 261毎に更新される。視点・視線入力機構１２２から取り込まれた情報は入力処理１２7により視点位置・視線方向 125として実写画像検索処理104に伝達され、画像検索情報である実写画像インデクス機構 １4２を参照して実写画像テ゛ータヘ゛ース１4３より実写画像を検索する。実写画像検索エンジン １０４および視界映像生成システム １０５の機能および処理は特許文献１に記載されている。画像切替平滑系 １１０において画像比較情報データベース 250は実写画像テ゛ータヘ゛ース１4３と画像ごとに対応しており同一の構造を持っているため実写画像インデクス機構 １4２を用いて検索でき、 画像比較情報テ゛ータヘ゛ース 250内の画像比較情報テ゛ータを画像比較情報検索処理 251が取り出す。 The display image 124 displayed on the display device 121 is updated every image update cycle 261 in FIG. Information taken in from the viewpoint / line-of-sight input mechanism 122 is transmitted to the photographed image search process 104 as the viewpoint position / line-of-sight direction 125 by the input process 127, and the photographed image data base 1443 is referenced with reference to the photographed image index mechanism 142, which is image retrieval information. Search for more live-action images. The functions and processing of the photographed image search engine 104 and the visual field image generation system 105 are described in Patent Document 1. In the image switching smoothing system 110, the image comparison information database 250 corresponds to the actual image database 143 for each image and has the same structure, so that it can be searched using the actual image index mechanism 142, and the image comparison information database 250 in the image comparison information database 250 Image comparison information retrieval processing 251 retrieves image comparison information data.

画像比較情報テ゛ータヘ゛ース 250内の情報（画像比較情報）は実写画像と同一構造であるが、視点と視線方向が近接する画像間の画像マッチンク゛処理 255に使用することが目的であるため、効率よく短時間に画像マッチングができるように実写画像テ゛ータヘ゛ース１4３内の実写画像を画像処理して実写画像ごとに事前に計算によって求める。図１０はかかる処理の例について構造を示したものである。処理ブロック300は実写画像データベース143の全画像について順次処理することを示し、処理ブロック301で実写画像データベース１43より処理対象の実写画像を取り出す。 The information in the image comparison information database 250 (image comparison information) has the same structure as the actual image, but since it is intended for use in image matching processing 255 between images in which the viewpoint and the line-of-sight direction are close to each other, it can be efficiently shortened. The real image in the real image data base 1443 is subjected to image processing so that image matching can be performed in time, and each real image is obtained by calculation in advance. FIG. 10 shows the structure of an example of such processing. A processing block 300 indicates that all images in the live-action image database 143 are sequentially processed, and a real-time image to be processed is extracted from the live-action image database 143 in a processing block 301.

処理ブロック302は実写画像の分解能を縦横（H,V）各々について1/nに減ずる処理である。ただし、nは1以上の整数である。この処理は画像マッチンク゛処理 255の計算量を1/(n*n)に減らすことができる反面、ズレ計出処理 256の精度が1/nに劣化するものであるから、プロセッサの処理能力を勘案してnを決める必要がある。実写画像の画素数は横方向にHmax、縦方向にVmaxであるとし、実写画像の各画素の輝度を P(h,v,RGB) で表現する。ここで、hはH（横）方向座標でh=0,Hmax-1の範囲の整数値をとり、ｖはV（縦）方向座標でv=0,Vmax-1の範囲の整数値をとる。RGBは色による区別で、RGB=0,2の整数値をとり、R,G,B３色に対応する。、実写画像の1/n分解能の画像の各画素の輝度を Pn(hn,vn,RGB) で表現する。ここで、hnはH（横）方向座標でhn=0,Hmax/n-1の範囲の整数値をとり、ｖはV（縦）方向座標でvn=0,Vmax/n-1の範囲の整数値をとる。RGBは色による区別である。分解能を1/nにする操作は、たとえば；
で求められる。 The processing block 302 is a process for reducing the resolution of the photographed image to 1 / n for each of the vertical and horizontal (H, V). However, n is an integer of 1 or more. This process can reduce the computational complexity of the image matching process 255 to 1 / (n * n), but the accuracy of the deviation calculation process 256 deteriorates to 1 / n. And n must be determined. The number of pixels in a live-action image is Hmax in the horizontal direction and Vmax in the vertical direction, and the brightness of each pixel in the live-action image is expressed as P (h, v, RGB). Here, h takes an integer value in the range of h = 0, Hmax-1 in the H (horizontal) direction coordinate, and v takes an integer value in the range of v = 0, Vmax-1 in the V (vertical) direction coordinate. . RGB is a distinction by color, and takes an integer value of RGB = 0, 2, corresponding to R, G, B 3 colors. The brightness of each pixel in the 1 / n resolution image of the real image is expressed as Pn (hn, vn, RGB). Here, hn is an integer value in the range of hn = 0, Hmax / n-1 in the H (horizontal) direction coordinate, and v is in the range of vn = 0, Vmax / n-1 in the V (vertical) direction coordinate. Takes an integer value. RGB is a distinction by color. The operation to set the resolution to 1 / n is, for example:
Is required.

処理ブロック302のモノクロム化も画像マッチンク゛処理 255の計算量を1/3に減らす目的であり、必ずしも行う必要はない。モノクロ化した画像の各画素の輝度を Pmn(hn,vn) で表現すると、モノクロ化の操作は、たとえば；
で求められる。 The monochrome processing of the processing block 302 is also intended to reduce the calculation amount of the image matching processing 255 to 1/3, and is not necessarily performed. When the brightness of each pixel of a monochrome image is expressed by Pmn (hn, vn), the monochrome operation is, for example:
Is required.

処理ブロック304のヒストグラム平準化を図１１を用いて説明する。画像マッチンク゛処理 255に適した画像フィルタ処理を、分解能を1/nに変更し、モノクロ化した実写画像310に対して実施する。画像フィルタ 311は左上のHV座標原点から１画素ずつ横方向（H)軸 312に歩進しながら画像処理し、右端に達すると横方向（H)軸 312の左端に戻り、縦方向（V)軸 313に１画素歩進する。この状態で１画素ずつ横方向（H)軸 312に移動しながら画像処理し、右端に達すると、以下、同様に分解能を1/nに変更しモノクロ化した実写画像 310の右下端に至るまで全画面をスキャンしつつ歩進する。 The histogram leveling of the processing block 304 will be described with reference to FIG. The image filtering process suitable for the image matching process 255 is performed on the real image 310 that has been changed to monochrome with the resolution changed to 1 / n. The image filter 311 processes the image one pixel at a time from the HV coordinate origin in the upper left while moving to the horizontal (H) axis 312. When the right end is reached, the image filter 311 returns to the left end of the horizontal (H) axis 312 and the vertical direction (V) Step one pixel on axis 313. In this state, image processing is performed while moving one pixel at a time in the horizontal (H) axis 312. When the right end is reached, the resolution is changed to 1 / n in the same manner until reaching the lower right end of the monochrome image 310. Advance while scanning the entire screen.

この歩進の各点では、以下に記すヒストグラム平準化処理を行う。画像の輝度分布は画像の場所によって異なるのが通常である。このような偏りは低い空間周波数成分の輝度分布であり、画像マッチンク゛処理 255で使用するマッチングフィルタのサイズより低い空間周波数成分を事前に除去することが画像処理上マッチング検出精度向上のため必要である。この目的のため画像フィルタ 311の大きさに合わせて輝度分布の平準化を行う。画像フィルタ 311はm*m画素の大きさを持つ。画像フィルタ 311は分解能を1/nに変更しモノクロ化した実写画像 310（以下、実写画像 310と称する）の左上端から右下端まで、画像を走査しながらい画素づつ歩進する。画像フィルタ 311内の実写画像310の各画素は輝度値を持ち、輝度表現が８ビットの場合、0から255までの値を持つ。図１１（ｂ）は画像フィルタ 311内のm*m画素に対する輝度別の画素数をグラフ化したヒストグラムである。輝度ヒストグラム軸 315は輝度軸 314上の輝度に対する画素数である。実写画像 310上で、画像フィルタ 311が歩進してきた領域内の画素の輝度ヒストグラム（分布）の例を図１１（ｂ）に示す。 At each step of the step, the histogram leveling process described below is performed. In general, the luminance distribution of an image varies depending on the location of the image. Such bias is a luminance distribution of a low spatial frequency component, and it is necessary to remove a spatial frequency component lower than the size of the matching filter used in the image matching process 255 in order to improve matching detection accuracy in image processing. . For this purpose, the luminance distribution is leveled according to the size of the image filter 311. The image filter 311 has a size of m * m pixels. The image filter 311 progresses pixel by pixel while scanning the image from the upper left end to the lower right end of the real image 310 (hereinafter referred to as the real image 310) that has been changed to a 1 / n resolution and is monochromeized. Each pixel of the photographed image 310 in the image filter 311 has a luminance value. When the luminance expression is 8 bits, it has a value from 0 to 255. FIG. 11B is a histogram that graphs the number of pixels by luminance with respect to m * m pixels in the image filter 311. The luminance histogram axis 315 is the number of pixels with respect to the luminance on the luminance axis 314. FIG. 11B shows an example of the luminance histogram (distribution) of the pixels in the region where the image filter 311 has advanced on the photographed image 310.

実写画像３１０の任意の場所に対して画像フィルタ 311範囲の領域内では輝度分布が輝度下限値 316から輝度上限値 317のあいだに均等に分布させる処理を説明する。すなわち、輝度に対応した輝度ヒストグラム値を一定値 321にし、その代わりにもとのヒストグラム値に対応して占有輝度幅を広げる（または狭める）処理を行う。たとえば図１１（ｂ）における輝度ｎ 319に対応した輝度ヒストグラムｎ 318を図１１（ｃ）ではそのまま表現することができない。このため、占有する輝度の幅を輝度ヒストグラムｎ 318 に対応して広げ、輝度ヒストグラムｎ１−ｎｉ 320として複数の輝度値で表現するのである。図１１（ｂ）の輝度ヒストグラムは図１１（ｃ）においては輝度値の占有幅に変換される。実際は輝度軸で取り得る値は整数である（輝度を８ビット表現した場合は０から２５５までの整数値）ので、前記変換は一度実数に変換してから実施し、最後に再度整数化して求める。画像フィルタ 311の計算結果は、m*m画素の領域の中心部の輝度値をフィルタ処理の結果として格納する。したがって画像フィルタの一辺のサイズのｍ画素は奇数であることが好ましい。さらにこのような結果格納方法を採用することにより、画像フィルタ 311を実写画像３１０上を１画素づつ歩進させて走査することと整合する。図１２は輝度ヒストグラム平準化の例であり、図１２（ａ）はモノクロ化した実写原画像であり、図１２（ｂ）は前記ヒストグラム平準化を行った例である。以上、処理ブロック３０４の内容を説明したが、結果は処理ブロック３０５で画像比較情報データベース250へ格納される。 A process for evenly distributing the luminance distribution between the luminance lower limit value 316 and the luminance upper limit value 317 in an area of the image filter 311 range for an arbitrary place of the photographed image 310 will be described. That is, the luminance histogram value corresponding to the luminance is set to a constant value 321, and instead, the occupied luminance width is expanded (or narrowed) corresponding to the original histogram value. For example, the luminance histogram n 318 corresponding to the luminance n 319 in FIG. 11B cannot be expressed as it is in FIG. For this reason, the width of the occupied luminance is expanded corresponding to the luminance histogram n 318 and expressed as a luminance histogram n 1 -ni 320 with a plurality of luminance values. The luminance histogram of FIG. 11B is converted into the occupied width of the luminance value in FIG. Actually, the value that can be taken on the luminance axis is an integer (an integer value from 0 to 255 when the luminance is expressed in 8 bits), so the conversion is performed after converting it to a real number, and finally converting it to an integer again. . As the calculation result of the image filter 311, the luminance value at the center of the m * m pixel region is stored as the result of the filter processing. Therefore, it is preferable that the number of m pixels on one side of the image filter is an odd number. Further, by adopting such a result storage method, the image filter 311 is matched with scanning the actual image 310 while being advanced by one pixel. FIG. 12 shows an example of luminance histogram leveling, FIG. 12 (a) shows a monochromatic actual image, and FIG. 12 (b) shows an example of the histogram leveling. The content of the processing block 304 has been described above, but the result is stored in the image comparison information database 250 in the processing block 305.

図８の説明の戻って、画像切替平滑系 １１０の説明を継続すると、視点位置・視線方向 125
は図９の視点・視線入力処理 127の行で、画像更新周期 261に先立って取り込まれ、実写画像検索エンジン １０４の実写画像検索処理104に送り込まれて、特許文献１の方法で視点位置・視線方向 125に最も適切な実写画像が実写画像テ゛ータヘ゛ース１43より取り出される。画像比較情報テ゛ータヘ゛ース 250は実写画像テ゛ータヘ゛ース１43と同一構造を有するように設定されているから、画像比較情報検索処理 251は実写画像検索処理104より前記画像検索情報を画像比較情報テ゛ータ検索情報 258として得て、前記実写画像に対応する画像比較情報テ゛ータを画像比較情報テ゛ータヘ゛ース 250より得ることができる。 Returning to the description of FIG. 8, the description of the image switching smoothing system 110 will be continued.
9 is the row of the viewpoint / line-of-sight input processing 127 in FIG. 9 and is fetched prior to the image update cycle 261 and sent to the real-image retrieval processing 104 of the real-image retrieval engine 104. A real image most suitable for the direction 125 is extracted from the real image database 143. Since the image comparison information database 250 is set to have the same structure as the actual image data database 143, the image comparison information search processing 251 obtains the image search information as the image comparison information data search information 258 from the actual image search processing 104. Thus, image comparison information data corresponding to the photographed image can be obtained from the image comparison information database 250.

比較情報領域選択処理 254では、現表示画像比較情報 253と次表示画像比較情報 252を出力する必要がある。このため現表示の実写画像に加え、次に表示する実写画像に対応した画像比較情報テ゛ータを画像比較情報検索処理 251が読み出す必要があるが、視点位置・視線方向 125と、その変化方向から次の時点の視点位置・視線方向を予測することができ、かかる予測値を用いて、現在表示中の実写画像と同一の処理で切替表示する実写画像の検索情報も得られる。画像比較情報検索処理 251は、切替表示する実写画像も併せて画像比較情報テ゛ータヘ゛ース 250より検索して読み出す。 In the comparison information area selection processing 254, it is necessary to output the current display image comparison information 253 and the next display image comparison information 252. For this reason, the image comparison information retrieval process 251 needs to read out the image comparison information data corresponding to the actual image to be displayed next in addition to the actual image of the current display. The viewpoint position and the line-of-sight direction can be predicted at this point in time, and using this predicted value, search information for a live-action image to be switched and displayed in the same process as the real-action image currently being displayed can also be obtained. The image comparison information search process 251 searches and reads out the actual image to be switched and displayed from the image comparison information database 250.

画像比較情報展開処理257は図９に示す通り、画像比較情報検索処理 251に引き続いて実施され、前記検索された実写画像の撮影点位置、撮影方向と、視点位置・視線方向 125及び表示画面の視野角より表示装置121に表示する現在表示中の視野画像と、切替後に表示する実写画像に対応する視野画像が画像比較情報展開処理257により得られる。この結果は現表示画像比較情報 253および次表示画像比較情報 252として比較情報領域選択処理 254に伝えられる。（図８、９） 画像比較情報展開処理257の内容は、画像比較情報検索処理 251が画像比較情報テ゛ータヘ゛ース 250より検索した画像比較情報テ゛ータは、対応する実写画像を撮影した撮影点と撮影方向に対応したものであり、視点位置・視線方向 125とは近接しているが異なるものである。この相違を３次元グラフィックで公知、あるいは特許文献１の線形変換により視界映像とするものである。 As shown in FIG. 9, the image comparison information expansion process 257 is performed following the image comparison information search process 251, and the shooting point position, shooting direction, viewpoint position / line-of-sight direction 125 of the searched real image and the display screen are displayed. From the viewing angle, the currently displayed field image displayed on the display device 121 and the field image corresponding to the actual image displayed after switching are obtained by the image comparison information developing process 257. This result is transmitted to the comparison information area selection processing 254 as current display image comparison information 253 and next display image comparison information 252. (FIGS. 8 and 9) The contents of the image comparison information development process 257 are as follows. The image comparison information data searched by the image comparison information search process 251 from the image comparison information database 250 is based on the shooting point and shooting direction of the corresponding actual image. It corresponds to the viewpoint position / line-of-sight direction 125, but is close but different. This difference is known as a three-dimensional graphic, or is made into a visual field image by the linear transformation of Patent Document 1.

現表示画像と次表示画像は撮影点と撮影方向が隣接した近傍にあるが、一致していないので視差があり、両画像を表示装置121の表示視野画面全体について一致させることは対象が平面でない限り原理的にできない。しかしながら、オペレータ１30が注目するのは表示画面の一部であるから、注目点入力機構123と注目点入力処理１２8により注目点位置 126を入力して比較情報領域選択処理 254に入力し、現表示画像比較情報 253と次表示画像比較情報 252の中から画像マッチンク゛処理 255を実施する部分を比較情報領域選択処理 254により選定する。 Although the current display image and the next display image are in the vicinity where the shooting point and the shooting direction are adjacent to each other, there is a parallax because they do not match, and it is not the object to match both images for the entire display field screen of the display device 121 It cannot be done in principle. However, since the operator 130 is interested in a part of the display screen, the attention point position 126 is input by the attention point input mechanism 123 and the attention point input processing 128, and is input to the comparison information area selection processing 254 to display the current display. A portion for executing image matching processing 255 is selected from image comparison information 253 and next display image comparison information 252 by comparison information region selection processing 254.

図１３は比較情報領域選択処理 254の機能を図で説明したものである。図１３（ａ）は現在表示中の視野画面340を示し、注目点ウィンドウ１ 330はオペレータが注目点位置 126により注目している領域を示す。注目点位置126のHV座標を(Ht,Vt)とする。現在表示中の視野画面 340にに対応する図１３（ｂ）の画像比較情報１ 333で注目点ウィンドウ１ 330で囲まれた領域が画像マッチンク゛処理 255における基準パターン 335となる。注目点入力機構123がない場合には自動的に視界表示画面の中心としてもよい。（図１３（ｂ）（ｄ）は画像比較情報の例であって、（ａ）（ｂ）の建物に対応したものではない。）
基準パターン 335をｍ画素 ｘ ｍ画素の領域とすると、C言語で記述すれば
（数０３）
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ )
Pattern[i][j] = M[Ht-m/2+i][ Vt-m/2+j];
}
}
で与えられる。ここで、Pattern[i][j]は基準パターンの輝度配列、M[Ht-m/2+i][ Vt-m/2+j]は画像比較情報１ 333の輝度配列である。 FIG. 13 is a diagram for explaining the function of the comparison information area selection processing 254. FIG. 13A shows a field of view screen 340 that is currently being displayed, and an attention point window 1330 indicates an area that the operator is paying attention to at the attention point position 126. Let HV coordinates of the point of interest position 126 be (Ht, Vt). A region surrounded by the attention point window 1330 in the image comparison information 1333 in FIG. 13B corresponding to the currently displayed visual field screen 340 becomes the reference pattern 335 in the image matching processing 255. If there is no attention point input mechanism 123, the center of the view display screen may be automatically set. (FIGS. 13B and 13D are examples of image comparison information, and do not correspond to the buildings of FIGS. 13A and 13B.)
If the reference pattern 335 is an area of m pixels x m pixels, it can be described in C language (Equation 03)
for (int i = 0; i <m; i ++) {
for (int j = 0; j <m; j ++)
Pattern [i] [j] = M [Ht-m / 2 + i] [Vt-m / 2 + j];
}
}
Given in. Here, Pattern [i] [j] is the luminance array of the reference pattern, and M [Ht-m / 2 + i] [Vt-m / 2 + j] is the luminance array of the image comparison information 1333.

図１３（ｃ）は切替表示の視野画面 341を示す。図１３（ｃ）における注目点ウィンドウ１ 330は図１３（ａ）と表示画面上で同じ位置にあるが、視差のため図１３（ａ）と異なる建物 239の部分を表示することになる。図１３の例では図１３（ａ）の注目点ウィンドウ１ 330は図１３（ｃ）では注目点ウィンドウ２ 331に表示されている。
図１３（ｃ）における注目点ウィンドウ１ 330と注目点ウィンドウ２ 331の位置ズレが画像マッチンク゛処理 255とズレ計出処理 256で計出すべき値である。注目点位置 126に対応して図１３（ａ）の注目点ウィンドウ１ 330が定まり、現在表示中の視野画面 340の縦横座標が同一の場所に図１３（ｂ）の注目点ウィンドウ１ 330が定まる。図１３（ｄ）は図１３（ｃ）の切替表示の視野画面 341に対応する画像比較情報2 334であり、図１３（ｂ）上の注目点ウィンドウ１ 330と図１３（ｄ）で同一位置にある注目点ウィンドウ１ 330の周辺を拡大して拡大注目点ウィンドウ 332を設定する。拡大注目点ウィンドウ 332の中心点は注目点ウィンドウ１ 330と同一であり、縦横倍率は最大外縁が画像比較情報2 334に接するまでが目安であるが、必要に応じてさらに拡大することもできる。 FIG. 13C shows a visual field screen 341 for switching display. The point-of-interest window 1330 in FIG. 13C is at the same position on the display screen as in FIG. 13A, but a portion of the building 239 different from FIG. 13A is displayed due to parallax. In the example of FIG. 13, the attention point window 1330 in FIG. 13A is displayed in the attention point window 2 331 in FIG.
The positional deviation between the attention point window 1 330 and the attention point window 2 331 in FIG. 13C is a value to be calculated by the image matching process 255 and the deviation calculation process 256. The point-of-interest window 1 330 in FIG. 13A is determined corresponding to the point-of-interest position 126, and the point-of-interest window 1 330 in FIG. 13B is determined at the same position of the vertical and horizontal coordinates of the currently displayed field-of-view screen 340. . FIG. 13D shows image comparison information 2 334 corresponding to the switching display field-of-view screen 341 in FIG. 13C, and the same position in FIG. 13B as the attention point window 1330 and FIG. 13D. An enlarged attention point window 332 is set by enlarging the periphery of the attention point window 1 330 in FIG. The center point of the enlarged attention point window 332 is the same as that of the attention point window 1330, and the vertical / horizontal magnification is a standard until the maximum outer edge touches the image comparison information 2334, but can be further enlarged as necessary.

前記基準パターン 335が最も相関の高い図１３（ｄ）の拡大注目点ウィンドウ 332内で最も相関の高い点を求める。
拡大注目点ウィンドウ 332を注目点ウィンドウ１ 330のN倍の大きさとし、アルゴリズムをC言語で記述すれば；
（数０４）
long Convolution[N*m][ N*m];
for ( int I=0; I<N*m; I++ ){
for ( int J=0; J<N*m; j++ )｛
Convolution [I][J] = 0;
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ ){
Convolution [I][J] += Pattern[i-m/2][j-m/2]
* M[Ht-N*m/2+I-m/2+i][Vt-N*m/2+J-m/2+j];
}
}
}
}
により積和計算（結果はConvolution [I][J]）を拡大注目点ウィンドウ 332の各点について実施し、その中で最大値の点（Htnext,Vtnext）が前記基準パターン 335と最も相関の高い点であり、切替表示の視野画面 341で現在表示中の視野画面 340の注目点位置 126に対応する点である。 The point having the highest correlation in the enlarged attention point window 332 in FIG. 13D where the reference pattern 335 has the highest correlation is obtained.
If the enlarged attention window 332 is N times larger than the attention window 1 330 and the algorithm is described in C language;
(Equation 04)
long Convolution [N * m] [N * m];
for (int I = 0; I <N * m; I ++) {
for (int J = 0; J <N * m; j ++) {
Convolution [I] [J] = 0;
for (int i = 0; i <m; i ++) {
for (int j = 0; j <m; j ++) {
Convolution [I] [J] + = Pattern [im / 2] [jm / 2]
* M [Ht-N * m / 2 + Im / 2 + i] [Vt-N * m / 2 + Jm / 2 + j];
}
}
}
}
The product-sum calculation (convolution [I] [J]) is performed for each point in the expanded attention window 332, and the maximum point (Htnext, Vtnext) has the highest correlation with the reference pattern 335. This is a point corresponding to the point of interest position 126 of the visual field screen 340 currently displayed on the visual field screen 341 of the switching display.

注目点ウィンドウ１ 330と拡大注目点ウィンドウ 332の座標のズレがズレ計出処理 256で求める値であり、
（数０５）
横方向ズレ = Htnext−Ht （画素）
縦方向ズレ = Vtnext-Vt （画素）
で求められる。この値は表示画像位置補正情報 259として画面出力処理 266に渡され、使用する実写画像を切り替える時点で視界映像の表示位置の修正に用いられる。図１４は上記処理を処理フローでしましたものである。また図９は図９における各処理のタイミング上の前後関係、従属関係を示したものである。 The deviation of the coordinates of the attention point window 1 330 and the enlarged attention point window 332 is the value obtained by the deviation calculation process 256.
(Equation 05)
Horizontal displacement = Htnext−Ht (pixels)
Vertical misalignment = Vtnext-Vt (pixels)
Is required. This value is passed to the screen output processing 266 as the display image position correction information 259, and is used to correct the display position of the view image at the time of switching the actual image to be used. FIG. 14 shows the processing flow described above. FIG. 9 shows the front-rear relationship and the dependency relationship in the timing of each process in FIG.

図１５および図１６は画像表示系 100と画像切替平滑系 １１０の処理について図９と異なる並列処理方法を示すものである。表示画面の画像更新周期 261は一般には30ms程度であり、画像切替平滑系 １１０の処理で最も時間がかかる可能性があるものが画像マッチング処理 255
である。画像マッチング処理 255が画像更新周期 261内に終了しない場合には、図１５に示すようにズレ計出処理 256を画像更新周期 261の2倍経過後に画面出力処理 266に送信してもよく、図１６の場合では、画像更新周期 261の３倍経過後に画面出力処理 266に送信している。このように、画像マッチング処理 255に要する時間が画像更新周期 261より長くなる場合は、同期タイミングを遅らせることにより対応できるが、遅延が大きくなると注目点位置 126の変化に対する応答性が劣化する。
画像マッチング処理 255を高速に処理する方法としては、マルチコア、マルチスレッドのCPUを利用して画像マッチング処理 255を複数のコアまたはスレッドで並列処理する方法がある。並列処理の方法は拡大注目点ウィンドウ 332を縦方向または横方向に複数の領域に分割した上で各区分ごとに基準パターン 335との相関演算（積和演算）を実施して、その中から最大値を取るものを採用すればよい。 15 and 16 show a parallel processing method different from that in FIG. 9 for the processing of the image display system 100 and the image switching smoothing system 110. The image update period 261 of the display screen is generally about 30 ms, and the image matching smoothing system 110 may take the longest time in image matching processing 255
It is. If the image matching process 255 does not end within the image update period 261, the deviation calculation process 256 may be transmitted to the screen output process 266 after the elapse of twice the image update period 261 as shown in FIG. In the case of 16, the image is transmitted to the screen output process 266 after three times the image update cycle 261 has elapsed. As described above, when the time required for the image matching processing 255 is longer than the image update cycle 261, it can be dealt with by delaying the synchronization timing. However, when the delay becomes large, the responsiveness to the change of the point of interest position 126 deteriorates.
As a method of processing the image matching processing 255 at high speed, there is a method of processing the image matching processing 255 in parallel with a plurality of cores or threads using a multi-core, multi-thread CPU. The parallel processing method is to divide the expanded attention window 332 into multiple regions in the vertical or horizontal direction, and then perform a correlation operation (product-sum operation) with the reference pattern 335 for each division, and then select the maximum What takes a value should just be adopted.

以上に述べた方法では、視点位置・視線方向 125と視点位置・視線方向 125の変化方向、変化速度より、次に表示する実写画像を予測しているが、予測は線形外挿以外にはよい方法がないので、視点位置・視線方向 125の変化方向が急変した場合には対応できなくなることが起こりえる。この問題を解決するためには、画像表示系 100を行うCPUコアまたはスレッド以外の複数のCPUコアまたはスレッドに次に表示する可能性のある全ての実写画像または表示する可能性のある実写画像から表示する可能性の大きいものから順に複数の画像に対して画像切替平滑系 １１０の処理を並列演算することも可能である。次に表示する可能性は実写画像の視点、視線方向とオペレータ１３０が入力する視点位置・視線方向 125の成す角度の小さいものから順に決める方法がある。 In the method described above, the next live-action image is predicted from the viewpoint position / line-of-sight direction 125 and the change direction and speed of the viewpoint position / line-of-sight direction 125, but the prediction may be other than linear extrapolation. Since there is no method, it may not be possible to cope with a sudden change in the direction of change of the viewpoint position / gaze direction 125. In order to solve this problem, from all the live-action images that may be displayed next to multiple CPU cores or threads other than the CPU core or thread that performs the image display system 100, or from the live-action images that may be displayed. The processing of the image switching smoothing system 110 can be performed in parallel on a plurality of images in descending order of possibility of display. There is a method of determining the possibility of display next in ascending order of the angle formed by the viewpoint and line-of-sight direction of the photographed image and the viewpoint position and line-of-sight direction 125 input by the operator 130.

同一の地物を視線で捉えながら視点を移動させると、特許文献１の方法では、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近い。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高い。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。 When the viewpoint is moved while capturing the same feature with the line of sight, the method of Patent Document 1 cannot maintain the continuity of the visual field image due to the parallax at the time of switching the actual image to be used. If the attention point of the object is limited, the viewpoints of viewing the feature before and after the switching of the real image are close to each other, and the viewing direction is also close. That is, even if the position-related attribute of the visual field image cannot be maintained, the attention point of the specific feature exists at a close location in the visual image, and the shape of the feature in the visual image is highly similar. Paying attention to this, image matching is performed around the point of interest of a specific feature in the view image, and the display coordinates of the view image at the time of switching the live image are shifted so that the positions of the matched images overlap, and if necessary Thus, the enlargement / reduction ratio is changed.

本発明の視界映像情報生成装置は、実写画像を用いて３次元視界映像を生成する場合に発生する実写画像切替時に発生する画像の乱れ、あるいは不連続性を解消し、滑らかな映像が生成するためのものであり、実写画像を用いた視界映像情報生成装置として産業上利用することができる。さらに本発明の視界映像情報生成装置は、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動、およびアミューズメントのインフラとして広範囲な分野で産業上利用できるほか、事前に特定対象物を限定せず一定の領域を高密度に撮影しておき、画像表示時に特定対象についてさまざまな視点と方向から観察できる特徴を生かして防災、治安維持の目的に使用することができる。   The field-of-view video information generation apparatus according to the present invention eliminates image disturbance or discontinuity that occurs when a live-action image is switched when a three-dimensional view image is generated using a real-shot image, and generates a smooth video. Therefore, it can be used industrially as a field-of-view video information generation device using a photographed image. Furthermore, the visual image information generating apparatus of the present invention can be used industrially in a wide range of fields as urban space landscape simulation, video guidance, situational grasp and monitoring, advertising, commercial activities, and amusement infrastructure, and in advance a specific target It can be used for the purpose of disaster prevention and security maintenance by taking advantage of the features that can be observed from various viewpoints and directions with respect to a specific object at the time of image display, by photographing a certain area with high density without limiting objects.

本発明の視界映像情報生成装置の全体構成を概略的に示す図である。It is a figure showing roughly the whole composition of the visual field picture information generating device of the present invention. 図１に示す視界映像情報生成装置の画像表示系１００における実写画像取得の概念を示す図である。It is a figure which shows the concept of the real image acquisition in the image display system 100 of the visual field video information generation apparatus shown in FIG. 図１に示す視界映像情報生成装置の画像表示系における実写画像１００の概念図である。It is a conceptual diagram of the photographed image 100 in the image display system of the visual field video information generation device shown in FIG. 図１に示す視界映像情報生成装置の画像表示系１００における実画像を用いた視界映像生成の概念について説明する図である。It is a figure explaining the concept of the visual field image | video production | generation using the real image in the image display system 100 of the visual field image | video information generation apparatus shown in FIG. 図１に示す視界映像情報生成装置の画像表示系１００において、視差により視界映像における位置ずれが発生するメカニズムについて説明する図である。It is a figure explaining the mechanism in which the position shift in a visual field image | video arises by parallax in the image display system 100 of the visual field image | video information generation apparatus shown in FIG. 図１に示す視界映像情報生成装置の画像表示系１００において、同一対象物に対する視差による視界映像の相違について説明する図である。It is a figure explaining the difference in the visual field image by the parallax with respect to the same target object in the image display system 100 of the visual field image information generation apparatus shown in FIG. 図１に示す視界映像情報生成装置の画像切替平滑系１１０の同一対象物に対する視差による視界映像の位置ずれ補正について説明する図である。It is a figure explaining the position shift correction of the visual field image | video by the parallax with respect to the same target object of the image switching smoothing system 110 of the visual field image | video information generation apparatus shown in FIG. 図１に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造について説明する図である。It is a figure explaining the detailed structure of the image switching smooth system 110 of the visual field video information generation apparatus shown in FIG. 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートについて説明する図である。It is a figure explaining the operation | movement time chart of the detailed structure of the image switching smooth system 110 of the visual field video information generation apparatus shown in FIG. 図８に示す視界映像情報生成装置の画像切替平滑系１１０の画像比較情報テ゛ータヘ゛ース２５０の生成方法について説明する図である。It is a figure explaining the production | generation method of the image comparison information database 250 of the image switching smooth system 110 of the visual field video information production | generation apparatus shown in FIG. 図１0に示す画像比較情報テ゛ータヘ゛ースのヒストグラム平準化について説明する図である。FIG. 11 is a diagram for explaining histogram leveling of the image comparison information database shown in FIG. 10. 図１0に示す画像比較情報テ゛ータヘ゛ースのヒストグラム平準化の例について説明する図である。FIG. 11 is a diagram for explaining an example of histogram leveling of the image comparison information database shown in FIG. 10. 図１に示す視界映像情報生成装置の画像切替平滑系１１０の視差による位置ずれ補正方法について説明する図である。It is a figure explaining the position shift correction method by the parallax of the image switching smooth system 110 of the visual field video information generation device shown in FIG. 図１に示す視界映像情報生成装置の画像切替平滑系の視差による位置ずれ補正処理の処理フローについて説明する図である。It is a figure explaining the processing flow of the position shift correction process by the parallax of the image switching smooth system of the visual field video information generation apparatus shown in FIG. 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明する図である。FIG. 9 is a diagram illustrating a case where the time required for image matching processing 255 is long in the operation time chart of the detailed structure of the image switching smoothing system 110 of the visual field image information generating device shown in FIG. 8. 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明するもう１つの図である。FIG. 10 is another diagram illustrating a case where the time required for the image matching processing 255 is long in the operation time chart of the detailed structure of the image switching smoothing system 110 of the visual field image information generating device shown in FIG. 8.

100 画像表示系
101 実写画像テ゛ータヘ゛ース
102 画像インデクス機構
103 DEMテ゛ータ
104 実写画像検索エンジン
105 視界映像生成システム
110 画像切替平滑系
111 画像比較情報テ゛ータヘ゛ース
112 視界映像位置補正システム
120 ユーサ゛インターフェイスシステム
121 表示装置
122 視点・視線入力機構
123 注目点入力機構
124 表示画像
125 視点位置・視線方向
126 注目点位置
127 視点・視線入力処理
128 視点・視線入力処理
150 飛行経路
151 航空機
152 撮影ポイント
153 ディジタルカメラ集合体光軸方向
160 都市
170 視線
180 充分小さい立体角の範囲
181 天球
190 空中画像 ｉ
191 空中画像 ｉ+1
200 視点経路 P(t)
201 時刻 ｔ の視線
202 時刻 ｔ+Δｔ の視線
203 時刻 ｔ+2Δｔ の視線
204 時刻 ｔ+3Δｔ の視線
205 時刻 ｔ+4Δｔ の視線
206 時刻 ｔ+5Δｔ の視線
207 目標トラシ゛ェクトリ T(t)
210 視点A
211 視点B
212 点Ｐ
213 地表点Ｏ
214 地表
215 高さｈ
216 像ＰＡ
217 像ＰＢ
218 像ＯＡ
219 像ＯＢ
220 視界映像A
221 視界映像B
222 地表点Q
223 地表点R
224 像QＡ
225 像QＢ
226 像RＡ
227 像RＢ
230 建物および視線方向の関係図
231 視線方向１
232 視線方向２
233 基準点
234 視線方向１より見た映像
235 視線方向２より見た映像
236 注目点
237 視線方向１より見た映像の基準点
238 視線方向２より見た映像の基準点
239 建物
240 現在表示中の視野画面
241 切替表示の視野画面
250 画像比較情報データベース
251 画像比較情報検索処理
252 次表示画像比較情報
253 現表示画像比較情報
254 比較情報領域選択処理
255 画像マッチンク゛処理
256 ズレ計出処理
257 画像比較情報展開処理
258 画像比較情報テ゛ータ検索情報
259 表示画像位置補正情報
260 時間軸
261 画像更新周期
262 実写画像検索処理
263 実写画像展開処理
264 視界映像生成処理
267 比較情報検索展開処理
300〜305 処理ブロック
310 分解能を1/nに変更しモノクロ化した実写画像
311 画像フィルタ
312 横方向（H)軸
313 縦方向（V)軸
314 輝度軸
315 輝度ヒストグラム軸
316 輝度下限値
317 輝度上限値
318 輝度ヒストグラムｎ
319 輝度ｎ
320 輝度ヒストグラムｎ１−ｎｉ
321 一定値
330 注目点ウィンドウ１
331 注目点ウィンドウ２
332 拡大注目点ウィンドウ
333 画像比較情報１
334 画像比較情報2
335 基準パターン
340〜347 処理ブロック 100 image display system
101 Live-action image data base
102 Image index mechanism
103 DEM data
104 Live-action image search engine
105 Visual field image generation system
110 Image switching smooth system
111 Image comparison information database
112 Vision image position correction system
120 User interface system
121 Display device
122 Viewpoint / Gaze input mechanism
123 Attention point input mechanism
124 display image
125 Viewpoint position / Gaze direction
126 Point of interest
127 Viewpoint / Gaze input processing
128 Viewpoint / Gaze input processing
150 flight path
151 aircraft
152 Shooting points
153 Digital camera assembly optical axis direction
160 cities
170 eyes
180 sufficiently small solid angle range
181 celestial sphere
190 Aerial image i
191 Aerial image i + 1
200 Viewpoint path P (t)
201 Line of sight at time t
202 Time t + Δt
203 Line of sight at time t + 2Δt
204 Line of sight at time t + 3Δt
205 Line of sight at time t + 4Δt
206 Line of sight at time t + 5Δt
207 Target trajectory T (t)
210 Viewpoint A
211 Viewpoint B
212 points
213 Ground point O
214
215 height h
216 statue PA
217 Statue PB
218 Statue OA
219 Statue OB
220 Field of view A
221 Vision video B
222 Ground point Q
223 Ground point R
224 Statue QA
225 statue QB
226 Statue RA
227 Statue RB
230 Relationship between building and line of sight
231 Gaze direction 1
232 Gaze direction 2
233 Reference point
234 Video seen from line of sight 1
235 Video seen from gaze direction 2
236 Notable Points
237 Reference point of video viewed from line of sight 1
238 Reference point of video viewed from line of sight 2
239 Building
240 Field of view currently displayed
241 Field of view for switching display
250 Image Comparison Information Database
251 Image comparison information search processing
252 Next display image comparison information
253 Current display image comparison information
254 Comparison information area selection processing
255 Image matching processing
256 Displacement processing
257 Image comparison information expansion processing
258 Image Comparison Information Data Search Information
259 Display image position correction information
260 Time axis
261 Image update cycle
262 Live-action image search processing
263 Real image development processing
264 Visual field image generation processing
267 Comparison information search expansion processing
300 to 305 processing block
310 Real-life image with resolution changed to 1 / n
311 Image Filter
312 Horizontal (H) axis
313 Longitudinal (V) axis
314 Luminance axis
315 brightness histogram axis
316 Lower brightness limit
317 Upper brightness limit
318 Luminance histogram n
319 brightness n
320 luminance histogram n1-ni
321 constant value
330 Attention Window 1
331 Attention Point Window 2
332 Enlarged attention window
333 Image Comparison Information 1
334 Image Comparison Information 2
335 Reference pattern
340 to 347 processing block

Claims (1)

撮影装置により、複数の撮影位置それぞれにおいて複数の方向への、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、
前記複数の画像情報それぞれを前記メモリ記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、
前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、
前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、
視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、
前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索して前記順番にて読出し、
前記順番にて読出された前記画像情報と、前記像情報に関連付けられている撮影位置情報とを参照して視界映像情報を生成することを含む視界映像情報生成装置において、
前記視点より前記視点方向の前記視界映像情報を生成するに際して、使用する前記画像情報を異なった撮影位置または異なった撮影方向またはその双方の前記画像情報に切り替える場合、前記視界映像情報に位置ずれが起きないように位置ずれ補正を実施することを特徴とし、
前記視界映像生成装置をゴーグルを含むヘッドマウント形式で実装し、前記視界映像生成装置に設置した電子コンパス、ジャイロを含む慣性センサにより、視線の目標地点と、想定する現在位置との相対関係より定義される視線ベクトルを構成して、視点と視線方向と視点と視線の目標地点との距離に対応した視界映像を生成する装置。 Shooting of a shooting area divided into a plurality of sub-areas in a plurality of directions at each of a plurality of shooting positions by a shooting device to acquire a plurality of image information and store them in a memory;
When storing each of the plurality of image information in the memory, shooting position information and shooting direction information when the image information is acquired are stored in the memory in association with the image information,
Identifying a sub-area captured when the image information is acquired with reference to imaging position information and imaging direction information associated with the image information stored in the memory;
Storing the image information, the shooting position information, and the shooting direction information in a database in association with the identified sub-region;
Specify a plurality of positions arranged in order on the viewpoint path and a direction of the line of sight toward each imaging region at each of the plurality of positions,
Image information including the sub-region positioned in the direction of the line of sight at each of the plurality of positions on the viewpoint path with reference to shooting direction information associated with the sub-region stored in the database; Retrieve the shooting position information associated with the image information and read in the order,
In a field-of-view video information generation device including generating field-of-view video information with reference to the image information read in the order and shooting position information associated with the image information,
When generating the view image information in the view direction from the viewpoint, when the image information to be used is switched to the image information in a different shooting position or a different shooting direction or both, there is a positional shift in the view image information. It is characterized by correcting misalignment so that it does not occur,
The visual field image generation device is mounted in a head-mounted form including goggles, and is defined by the relative relationship between the target point of sight line and the assumed current position by an inertial sensor including an electronic compass and a gyro installed in the visual field image generation device. An apparatus for generating a visual field image corresponding to a distance between a viewpoint, a line-of-sight direction, and a distance between the viewpoint and the target point of the line of sight by configuring a line-of-sight vector.