JP3433882B2 - Virtual space generation device - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、動画像から３次元
空間を作成したり、撮影した動画像をフレーム毎に分割
し撮影時とは別の順序で見ることにより、仮想的な空間
移動を可能にする技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention creates a three-dimensional space from a moving image, or divides a taken moving image into frames and views them in a different order from that at the time of shooting to realize virtual space movement. It is about enabling technology.

【０００２】[0002]

【従来の技術】図４7 は、従来の仮想空間生成装置の一
例を示すブロック構成図である。図４７において、符号
４２１は画像撮影手段、４２２はマッチング手段、４２
３は立体画像生成手段、４２４は画像表示手段である。
次に、図４８から図５０を用いて従来の技術による生成
技術ついて説明する。図４８は従来の仮想空間生成装置
の動作を説明した説明図である。図４８において、４３
１は地表などの表面、４３２は地表に建っている建物、
４３３および４３５は地表と平行に飛んでいる飛行機
で、４３３は或る時点に或る位置を飛んでいる飛行機、
４３５は飛行機４３３の位置から地表と平行に一定距離
飛んだ後の飛行機を表す。４３４は飛行機４３３から建
物４３２などを見たときの角度θ１、４３７は飛行機４
３５から建物４３２などを見たときの角度θ２、４３６
は角度θ１を検出してから角度θ２を検出するまでに移
動した飛行機の移動距離を示している。図４９は、図４
８の飛行機と建物の位置関係をさらに詳しく説明したも
のである。図４９において、４４３は飛行機の移動距
離、４４４は撮影対象物としての建物の一部（これを注
目点とする）、４４５および４４６は地表と平行に飛ん
でいる飛行機で、４４５は或る時点に或る位置を飛んで
いる飛行機、４４６は飛行機４４５の位置から地表と平
行に一定距離飛んだ後の飛行機を表す。４４１は飛行機
４４５の移動方向と建物を見た方向のなす角度θ１であ
る。４４２は飛行機４４６の移動方向と建物を見た方向
のなす角度θ２である。飛行機の４４５から４４６まで
の移動距離４４３と注目点４４４までの距離は、三角形
４４４、４４５、４４６を構成しており、三角形の一辺
とその両端の角度がわかっているので、この三角形は大
きさが決まる。この結果、飛行機の移動方向４４３と建
物の一部までの距離４４７を求めることができる。な
お、図４９中、４４８は飛行機４４５で建物を撮影した
ときの画像面、４５０は画像面４４８内における注目点
４４４の画像である。また、図４９中、４４９は飛行機
４４６で建物を撮影したときの画像面、４４０は画像面
４４９内における注目点４４４の画像である。2. Description of the Related Art FIG. 47 is a block diagram showing an example of a conventional virtual space generation device. In FIG. 47, reference numeral 421 is an image capturing means, 422 is a matching means, 42
Reference numeral 3 is a stereoscopic image generation means and 424 is an image display means.
Next, a conventional generation technique will be described with reference to FIGS. 48 to 50. FIG. 48 is an explanatory diagram for explaining the operation of the conventional virtual space generation device. In FIG. 48, 43
1 is a surface such as the surface of the earth, 432 is a building on the surface of the earth,
433 and 435 are planes flying parallel to the surface of the earth, 433 is a plane flying at a certain point in time,
Reference numeral 435 represents an airplane after flying a certain distance from the position of the airplane 433 in parallel with the ground surface. 434 is the angle θ1 when the building 432 is seen from the airplane 433, 437 is the angle of the airplane 4
Angle θ2, 436 when looking at the building 432 from 35
Indicates the movement distance of the airplane that has moved from the detection of the angle θ1 to the detection of the angle θ2. FIG. 49 shows FIG.
8 is a more detailed description of the positional relationship between the airplane and the building shown in FIG. In FIG. 49, 443 is a moving distance of an airplane, 444 is a part of a building as an object to be photographed (this is a point of interest), 445 and 446 are airplanes flying parallel to the ground surface, and 445 is a certain point in time. An airplane 446 flying at a certain position on the plane is a plane after a certain distance from the position of the airplane 445 parallel to the ground surface. 441 is an angle θ1 formed by the moving direction of the airplane 445 and the direction in which the building is viewed. 442 is an angle θ2 formed by the moving direction of the airplane 446 and the direction in which the building is viewed. The travel distance 443 of the airplane from 445 to 446 and the distance to the point of interest 444 form the triangles 444, 445, and 446. Since the angles of one side of the triangle and its both ends are known, this triangle is the size. Is decided. As a result, the moving direction 443 of the airplane and the distance 447 to a part of the building can be obtained. Note that in FIG. 49, reference numeral 448 is an image plane when a building is photographed by the airplane 445, and 450 is an image of a point of interest 444 in the image plane 448. Further, in FIG. 49, reference numeral 449 is an image plane when the building is photographed by the airplane 446, and 440 is an image of the attention point 444 in the image plane 449.

【０００３】そこで、図４８のように水平に飛んでいる
飛行機から連続的に写真を撮影しながら撮影した物体ま
での距離を建物の多くの点について求めることによっ
て、地表面４３１などの上に建っている建物４３２など
の立体データを求めることが可能である。このような３
次元データを求めることができれば、建物などが建って
いる景観をコンピュータグラフィックスの技術を用いて
作成することができる。図４８および図４９を用いて説
明したように、画像撮影手段４２１で連続的な画像を撮
影し、マッチング手段４２２で画像間の対応をとり、立
体画像生成手段４２３で立体画像を生成し、画像表示手
段４２４で立体的な表示を行なう。Therefore, as shown in FIG. 48, the distances from the horizontally flying airplane to the photographed object are continuously obtained while obtaining the photographed object at many points of the building, so that the object is built on the ground surface 431 or the like. It is possible to obtain three-dimensional data such as the building 432 that is open. Like this 3
If dimensional data can be obtained, the landscape where buildings are built can be created using computer graphics technology. As described with reference to FIGS. 48 and 49, the image capturing unit 421 captures continuous images, the matching unit 422 associates the images, and the stereoscopic image generation unit 423 generates a stereoscopic image. The display means 424 makes a three-dimensional display.

【０００４】一方、立体形状を認識しなくても、仮想的
に３次元的に見せる技術として、イメージベースドレン
ダリングあるいは光線射影法などと呼ばれているものが
ある。これは、ある視点から見た映像を記録する方式で
あり、光線情報を仮想平面にマッピングして記録すると
いうものである。このような技術は、"PleopticModelin
g: An Image- Based Rendering System": Leonard Mcmi
llan, GaryBishop, Department of Computer Science U
niversity of North Carolina 、Computer Graphics Pr
oceedings Annual Conference Series, 1995, p39-p46:
「光線情報による３次元実空間の効率的記述に向けた光
線空間射影法、ｖｉｓ９６−８，苗村 建、柳沢健之、
金子正義、原島博、ｐ４９−ｐ５６」において開示され
ている。図５０はこうした手法を用いた仮想空間生成装
置のブロック構成図である。図５０において、符号４５
１は画像を撮影する画像撮影手段、４５２は隣り合った
画像のマッチングをとるマッチング手段、４５３は仮想
平面を作成する仮想平面生成手段、４５４は画像を表示
する画像表示手段である。図５１はイメージベースドレ
ンダリングの概念を示したものである。図５１におい
て、４６１は視点、４６２は物体、４６３は視点と物体
の間に置かれた仮想平面である。このような態様におい
て、物体４６２から出た光のうち、視点４６１に到達し
たものが人間の目に入る。このとき人は物体を認識でき
る。On the other hand, as a technique for virtually displaying a three-dimensional shape without recognizing a three-dimensional shape, there is a technique called an image-based rendering or a ray projection method. This is a method of recording an image viewed from a certain viewpoint, which is to record light ray information by mapping it on a virtual plane. Such technology is called "Pleoptic Modelin
g: An Image- Based Rendering System ": Leonard Mcmi
llan, GaryBishop, Department of Computer Science U
niversity of North Carolina, Computer Graphics Pr
oceedings Annual Conference Series, 1995, p39-p46:
"Ray space projection method for efficient description of 3D real space by light ray information, vis96-8, Ken Naemura, Takeyuki Yanagisawa,
Masayoshi Kaneko, Hiroshi Harashima, p49-p56 ". FIG. 50 is a block diagram of a virtual space generation device using such a method. In FIG. 50, reference numeral 45
Reference numeral 1 is an image capturing means for capturing an image, 452 is a matching means for matching adjacent images, 453 is a virtual plane generating means for generating a virtual plane, and 454 is an image display means for displaying an image. FIG. 51 shows the concept of image-based rendering. In FIG. 51, 461 is a viewpoint, 462 is an object, and 463 is a virtual plane placed between the viewpoint and the object. In such a mode, of the light emitted from the object 462, the light reaching the viewpoint 461 enters the human eye. At this time, a person can recognize the object.

【０００５】一方、物体４６２と視点４６１の間に４６
３のような仮想平面を考え、物体４６２から出た光をす
べて仮想平面４６３上に記録する。そして、視点４６１
からこの仮想平面４６３を見た角度に応じて記録した光
を表示すれば、人間はあたかもそこに物体があるように
見えるというものである。On the other hand, the distance between the object 462 and the viewpoint 461 is 46.
Consider a virtual plane such as 3 and record all the light emitted from the object 462 on the virtual plane 463. And the viewpoint 461
Therefore, if the light recorded according to the angle at which the virtual plane 463 is viewed is displayed, a human looks as if there is an object there.

【０００６】図５２および図５３は、イメージベースド
レンダリングの手法を用いて、画像の撮影をしている様
子を示したものである。図５２において、４７１はカメ
ラ、４７２は対象物、４７３は視点１である。撮影する
際には、カメラ４７１を視点１−４７３で左右に振って
撮影する。次に図５３を用いて仮想平面の作成方法につ
いて述べる。図５３で４８１はカメラ、４７２は対象
物、４８４は仮想平面、４８２は撮影した画像、４８３
は撮影した画像を仮想平面４８４に投影した画像であ
る。カメラ４８１で対象物４７２を撮影すると画像４８
２が得られる。そこで、仮想平面４８４を対象物とカメ
ラの間に適当に設定して、画像４８２をこの仮想平面に
投影する。大きな仮想平面を作成する場合には、こうし
て投影した画像を張り合わせていく。このとき隣り合っ
た画像同士を張り合わせるために、画像を撮影した角度
を測定するため、カメラを使用する場合は、カメラを分
度器付の三脚に載置しカメラの回転角を正確に測定す
る。また、ビデオカメラで撮影する場合には画像認識の
技術を用いて隣り合った画像同士の対応点を連続的に求
めるといった方法（「投影法を用いた映像の解析方法と
映像ハンドリングへの応用」、阿久津明人、外村佳伸、
電子情報通信学会論文誌D-II,Vol.J79-D-II,No.5,pp675
-686, １９９６年５月）が採用される。52 and 53 show how an image is photographed by using the image-based rendering method. In FIG. 52, 471 is a camera, 472 is an object, and 473 is the viewpoint 1. When taking a picture, the camera 471 is swung left and right from the viewpoint 1-473 to take a picture. Next, a method of creating a virtual plane will be described with reference to FIG. In FIG. 53, reference numeral 481 is a camera, 472 is an object, 484 is a virtual plane, 482 is a captured image, 483.
Is an image obtained by projecting the captured image on the virtual plane 484. Image 48 when the object 472 is photographed by the camera 481
2 is obtained. Therefore, the virtual plane 484 is appropriately set between the object and the camera, and the image 482 is projected on this virtual plane. When creating a large virtual plane, the images thus projected are stitched together. At this time, in order to attach adjacent images to each other, the angle at which the images are taken is measured. Therefore, when using a camera, the camera is placed on a tripod with a protractor and the rotation angle of the camera is accurately measured. In addition, when shooting with a video camera, a method of continuously finding corresponding points between adjacent images using image recognition technology (“Analysis method of video using projection method and application to video handling”) , Akito Akutsu, Yoshinobu Tonomura,
IEICE Transactions D-II, Vol.J79-D-II, No.5, pp675
-686, May 1996).

【０００７】[0007]

【発明が解決しようとする課題】しかしながら、図４７
に示した従来の仮想空間生成装置では、異なった地点か
ら撮影した画像の中から、対応する箇所を複数個見つけ
ることが必要である。このため、対象物が曲面で構成さ
れていたり、光を反射しやすかったりすると、見る方向
によって見え方が異なるため対応点を見つけることが困
難で、立体データの作成が困難になってしまう。However, as shown in FIG.
In the conventional virtual space generation device shown in (1), it is necessary to find a plurality of corresponding locations in images captured from different locations. Therefore, if the object is formed of a curved surface or easily reflects light, the appearance varies depending on the viewing direction, and it is difficult to find the corresponding point, which makes it difficult to create stereoscopic data.

【０００８】また、図５０に示した別の従来例の仮想空
間生成装置の場合においては、画像の位置関係を調べる
ために、画像同士の対応を正確に求める必要がある。す
なわち、ビデオカメラで撮影した連続したフレームを次
々に解析して、お互いの位置関係を求めて行く必要があ
る。このため、認識の難しい雪景色などの画像や、繰り
返しパターンの多い人工物のような画像の場合には、位
置関係を正しく求めることが困難であった。Further, in the case of another conventional virtual space generating apparatus shown in FIG. 50, it is necessary to accurately find the correspondence between the images in order to check the positional relationship of the images. That is, it is necessary to analyze consecutive frames captured by a video camera one after another to obtain the positional relationship between them. Therefore, in the case of an image such as a snow scene that is difficult to recognize, or an image such as an artificial object with many repeating patterns, it is difficult to accurately obtain the positional relationship.

【０００９】また、三脚に分度器をつけた場合では、撮
影する毎に撮影した画像の撮影条件をノートなどに記録
しておかなければならないといった問題があった。本発
明は上記従来の問題点に鑑みてなされたもので、その目
的は、ユーザが見たい視線の方向を入力するだけでその
方向に最も近い画像を選択することができる仮想空間生
成装置を提供することである。Further, when the protractor is attached to the tripod, there is a problem that the photographing condition of the photographed image must be recorded in a notebook or the like every time the photograph is taken. The present invention has been made in view of the above conventional problems, and an object thereof is to provide a virtual space generation device capable of selecting an image closest to a direction of a line of sight of a user by simply inputting the direction of the line of sight. It is to be.

【００１０】[0010]

【課題を解決するための手段】この課題を解決するため
に本発明は、第１に、仮想空間生成装置を、画像を入力
する画像入力手段と、前記画像入力手段の向いている角
度を測定する角度測定手段と、前記画像入力手段の位置
を測定する位置測定手段と、前記画像と前記画像の前記
位置と前記角度とを記録する構造化データ記録手段と、
視点を入力する視点入力手段と、前記視点の位置を包む
立体を作成し、前記視点から見える範囲の前記立体上の
領域１を計算し、また前記構造化データ記録手段に記録
された前記画像毎に対応する位置と角度から求められる
視野から見える範囲の前記立体上の領域２を計算し、前
記領域１に対する前記領域２の重なる比率の最も大きい
前記画像を選択する画像選択手段とから構成したもので
ある。In order to solve this problem, the present invention firstly provides a virtual space generation device for measuring an image input means for inputting an image and an angle at which the image input means faces. Angle measuring means, position measuring means for measuring the position of the image input means, structured data recording means for recording the image, the position of the image, and the angle,
A viewpoint input means for inputting a viewpoint and a solid body that encloses the position of the viewpoint are created, an area 1 on the solid body within a range visible from the viewpoint is calculated, and the solid area is recorded in the structured data recording means. And an image selection unit that calculates the area 2 on the stereoscopic area in the range that can be seen from the visual field obtained from the position and angle corresponding to each image, and selects the image having the largest overlapping ratio of the area 2 to the area 1. It is composed of.

【００１１】これにより、画像を入力すると同時に画像
を入力した方向を測定することができ、ユーザが見たい
視線の方向を入力するだけでその方向に最も近い画像を
選択することができる。また、画像入力手段から入力さ
れた様々な位置で入力された複数の画像の中から、視点
入力手段から入力された視点位置に最も近い画像を選択
することができる。 Thus, the direction in which the image is input can be measured at the same time that the image is input, and the image closest to the direction can be selected by simply inputting the direction of the line of sight desired by the user. Also, input from the image input means.
The viewpoint from multiple images input at various positions
Select the image closest to the viewpoint position input from the input means
can do.

【００１２】[0012]

【００１３】[0013]

【００１４】第２に、第１の構成に加えて、画像入力手
段は、画像の拡大率を入力する拡大率入力手段を有する
ようにする。また、構造化データ記録手段は、画像と前
記画像の位置と角度と拡大率とを記録することを特徴と
する。 Second , in addition to the first configuration, an image input
The stage has an enlargement ratio input means for inputting an enlargement ratio of the image . Also, structured data recording means, the image before
It is characterized in that the position, angle and magnification of the recorded image are recorded.

【００１５】これにより、拡大率を変化させながら画像
を入力しても、視点入力手段から入力された視点に最も
近い画像を選択することができる。Accordingly, even if an image is input while changing the enlargement ratio, the image closest to the viewpoint input from the viewpoint input means can be selected.

【００１６】第３に、第２の構成に加えて、画像入力手
段は、画像の対象物から前記画像入力手段までの距離を
測定する距離測定手段を有するようにする。また、画像
選択手段は、距離測定手段で測定された距離に合わせて
画像選択手段の生成する立体の大きさを構造化データ記
録手段に記録された画像毎に決定し、画像毎に決定され
た前記立体を視点入力手段から入力された視点から見た
場合に見える範囲の前記立体上の領域１と、前記構造化
データ記録手段に記録された位置と角度と拡大率によっ
て決定される視点から見た場合に見える範囲の前記立体
上の領域２を前記構造化データ記録手段に記録された画
像毎に計算し、前記領域１と前記領域２の重なる割合が
最も大きな前記画像を選択する。Thirdly, in addition to the second configuration, the image input means has a distance measuring means for measuring the distance from the object of the image to the image input means. Further, the image selecting means determines the size of the solid body generated by the image selecting means according to the distance measured by the distance measuring means for each image recorded in the structured data recording means, and is determined for each image. Seeing the solid from the viewpoint input from the viewpoint input means
An area 1 on the stereoscopic range visible when the stereoscopic range visible when viewed from the viewpoint is determined by the magnification and recorded position and angle to the structured data recording means
The upper area 2 is calculated for each image recorded in the structured data recording means, and the image having the largest overlapping ratio of the area 1 and the area 2 is selected.

【００１７】これにより、視点入力手段の入力した視点
位置に最も近い場所から、画像入力手段によって入力さ
れた画像を選択することができる。Thus, the image input by the image input means can be selected from the location closest to the viewpoint position input by the viewpoint input means.

【００１８】[0018]

【００１９】かかる構成により、画像入力手段の入力し
た画像から仮想平面を立体的に作成し、任意の地点から
見た画像を作成することができる。With this configuration, a virtual plane can be three-dimensionally created from the image input by the image input means, and an image viewed from an arbitrary point can be created.

【００２０】[0020]

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像を入力する画像入力手段と、前記画像入力手段
の向いている角度を測定する角度測定手段と、前記画像
入力手段の位置を測定する位置測定手段と、前記画像と
前記画像の前記位置と前記角度とを記録する構造化デー
タ記録手段と、視点を入力する視点入力手段と、前記視
点の位置を包む立体を作成し、前記視点から見える範囲
の前記立体上の領域１を計算し、また前記構造化データ
記録手段に記録された前記画像毎に対応する位置と角度
から求められる視野から見える範囲の前記立体上の領域
２を計算し、前記領域１に対する前記領域２の重なる比
率の最も大きい前記画像を選択する画像選択手段とを備
えたものであり、画像を入力すると同時に画像を入力し
た方向を測定することができ、ユーザが見たい視線の方
向を入力するだけでその方向に最も近い画像を選択する
という作用を有する。また、画像入力手段から入力され
た様々な位置で入力された複数の画像の中から、視点入
力手段から入力された視点位置に最も近い画像を選択す
るという作用を有する。BEST MODE FOR CARRYING OUT THE INVENTION The invention according to claim 1 of the present invention comprises: an image input means for inputting an image; an angle measuring means for measuring an angle at which the image input means faces; A position measuring means for measuring a position, a structured data recording means for recording the image and the position and the angle of the image, a viewpoint input means for inputting a viewpoint, and a solid body enclosing the position of the viewpoint are created. , The range that can be seen from the viewpoint
The three-dimensional area 1 is calculated, and the three-dimensional area 2 in the range visible from the visual field obtained from the position and angle corresponding to each image recorded in the structured data recording means is calculated, An image selecting unit that selects the image having the largest overlapping ratio of the region 2 with respect to the region 1 is provided, and the direction in which the image is input can be measured at the same time when the image is input, and the line of sight desired by the user can be seen. This has the effect of selecting the image closest to that direction by simply inputting the direction. Further, it has an effect of selecting an image closest to the viewpoint position input from the viewpoint input unit from a plurality of images input at various positions input from the image input unit.

【００２１】[0021]

【００２２】[0022]

【００２３】[0023]

【００２４】[0024]

【００２５】[0025]

【００２６】本発明の請求項２に記載の発明は、請求項
１に記載の仮想空間生成装置において、画像選択手段の
作成する視点を包む立体は円筒形、直方体、多面体、
球、楕円のいずれかであるようにしたものである。The invention according to claim 2 of the present invention is
In the virtual space generation device according to item 1, the solid body enclosing the viewpoint created by the image selection means is a cylinder, a rectangular parallelepiped, a polyhedron,
It is either a sphere or an ellipse.

【００２７】本発明の請求項３に記載の発明は、請求項
２に記載の仮想空間生成装置において、画像入力手段
は、画像の拡大率を入力する拡大率入力手段を有するも
のであり、拡大率を変化させながら画像を入力しても、
視点入力手段から入力された視点に最も近い画像を選択
することができるという作用を有する。The invention according to claim 3 of the present invention is
In the virtual space generation device according to 2 , the image input means
Also has a magnification input means for inputting a magnification of the image is at <br/> of, entering the image while varying the expansion ratio,
It has an effect that the image closest to the viewpoint input from the viewpoint input means can be selected.

【００２８】本発明の請求項４に記載の発明は、請求項
３に記載の仮想空間生成装置において、構造化データ記
録手段は、画像と前記画像の位置と角度と拡大率とを記
録するようにしたものである。The invention according to claim 4 of the present invention is
In the virtual space generation device described in 3 , the structured data recording means records an image, a position, an angle, and a magnification of the image .

【００２９】本発明の請求項５に記載の発明は、請求項
４に記載の仮想空間生成装置において、画像入力手段
は、画像の対象物から前記画像入力手段までの距離を測
定する距離測定手段を有するようにしたものであり、視
点入力手段の入力した視点位置に最も近い場所から、画
像入力手段によって入力された画像を選択することがで
きるという作用を有する。According to a fifth aspect of the present invention, in the virtual space generating apparatus according to the fourth aspect, the image input means is a distance measuring means for measuring the distance from the object of the image to the image input means. The image input by the image input means can be selected from the position closest to the viewpoint position input by the viewpoint input means.

【００３０】本発明の請求項６に記載の発明は、請求項
５に記載の仮想空間生成装置において、画像選択手段
は、距離測定手段で測定された距離に合わせて画像選択
手段の生成する立体の大きさを構造化データ記録手段に
記録された画像毎に決定し、画像毎に決定された前記立
体を視点入力手段から入力された視点から見た場合に見
える範囲の前記立体上の領域１と、前記構造化データ記
録手段に記録された位置と角度と拡大率によって決定さ
れる視点から見た場合に見える範囲の前記立体上の領域
２を前記構造化データ記録手段に記録された画像毎に計
算し、前記領域１と前記領域２の重なる割合が最も大き
な前記画像を選択するようにしたものであり、視点入力
手段の入力した視点位置に最も近い場所から、画像入力
手段によって入力された画像を選択することができると
いう作用を有する。According to a sixth aspect of the present invention, in the virtual space generating apparatus according to the fifth aspect, the image selecting means generates a stereoscopic image generated by the image selecting means in accordance with the distance measured by the distance measuring means. Is determined for each image recorded in the structured data recording means, and the stereoscopic image determined for each image is viewed when viewed from the viewpoint input from the viewpoint input means.
The three-dimensional area 1 in the three-dimensional range and the three-dimensional area 2 in the three-dimensional range visible from the viewpoint determined by the position, angle, and enlargement ratio recorded in the structured data recording means are structured. The calculation is performed for each image recorded in the data recording means, and the image having the largest overlapping ratio of the area 1 and the area 2 is selected, and the location closest to the viewpoint position input by the viewpoint input means. From this, there is an effect that the image input by the image input means can be selected.

【００３１】[0031]

【００３２】（実施の形態１）図１は、本発明の第１の
実施の形態における仮想空間生成装置のブロック構成図
である。図１において、１は撮像装置やカメラなどから
成り画像を入力する画像入力手段、２は画像入力手段１
の向いている角度を測定する角度測定手段、３は画像入
力手段１の入力した画像情報と前記角度測定手段２の測
定した方向の情報などの入力情報を記録する入力情報記
録手段、４は入力情報記録手段３の記録している情報を
構造化した結果を記録する構造化データ記録手段、５は
後述の視点入力手段６から入力された視点に最も近い画
像を前記構造化データ記録手段４から選択する画像選択
手段、６は視点を入力する視点入力手段、７は画像選択
手段５の選択した画像を表示する画像表示手段である。(Embodiment 1) FIG. 1 is a block diagram of a virtual space generation apparatus according to a first embodiment of the present invention. In FIG. 1, reference numeral 1 is an image input means for inputting an image, which is composed of an imaging device, a camera, etc., and 2 is an image input means 1.
Angle measuring means for measuring the angle at which 3 is pointing, 3 is input information recording means for recording image information input by the image input means 1 and input information such as information on the direction measured by the angle measuring means 2, 4 is input The structured data recording means 5 for recording the result of structuring the information recorded by the information recording means 3 is the structured data recording means 4 for the image closest to the viewpoint inputted from the viewpoint input means 6 described later. Image selecting means for selection, 6 is a viewpoint input means for inputting a viewpoint, and 7 is an image display means for displaying the image selected by the image selecting means 5.

【００３３】構造化データ記録手段４は画像入力手段１
の入力した画像とこれと同時に角度測定手段２から入力
された角度情報を組にして記録するものである。また、
画像選択手段５は、視点入力手段６から入力された角度
と同じ角度を持つ構造化データ記録手段４に記録された
画像を選択するものである。The structured data recording means 4 is the image input means 1
And the angle information input from the angle measuring means 2 at the same time are recorded as a set. Also,
The image selection means 5 selects an image recorded in the structured data recording means 4 having the same angle as the angle input from the viewpoint input means 6.

【００３４】図２は上記第１の実施の形態に係る仮想空
間生成装置を具体的な機器構成の例によって図説するも
のである。図２において、２１は本体である。この事例
によれば、画像入力手段１の機器としてビデオカメラが
用いられる。このビデオカメラは本体２１上に角度測定
手段２としてジャイロを装備し、また入力情報記録手段
３としてメモリを備え、さらに視点入力手段６として操
作パネル、画像表示手段７としてビューファインダー、
液晶ディスプレーを備えている。また、このビデオカメ
ラは、構造化データ記憶手段４および画像選択手段５を
内蔵している。FIG. 2 illustrates the virtual space generation device according to the first embodiment with an example of a concrete device configuration. In FIG. 2, 21 is a main body. According to this example, a video camera is used as the device of the image input means 1. This video camera is equipped with a gyro as an angle measuring means 2 on a main body 21, a memory as an input information recording means 3, an operation panel as a viewpoint input means 6, a viewfinder as an image display means 7,
Equipped with a liquid crystal display. This video camera also has a structured data storage means 4 and an image selection means 5 built therein.

【００３５】図３は図１に示す仮想空間生成装置の中の
入力情報記録手段３の部分をより詳細に示した要部ブロ
ック図である。この図に示すように、入力情報記録手段
３は画像入力手段１および角度測定手段２からの入力デ
ータを符号化する符号化手段３５と、符号化された画像
情報および角度測定情報と連続的に記憶蓄積する連続デ
ータ蓄積手段３６とを備えて成る。図３に示すように、
角度入力手段２や、画像入力手段１から入力された情報
は、符号化手段３５によってデータ圧縮などの処理が行
なわれる。このとき、角度入力手段２および画像入力手
段１から同時に入力された情報は一緒する。たとえば、
ＭＰＥＧのデータフォーマットを使用する場合は、角度
情報は音声信号に変換するといった処理を行なう。連続
データ蓄積手段３６はこの様にして連続的に入力された
情報を蓄積していく。FIG. 3 is a principal block diagram showing in more detail the portion of the input information recording means 3 in the virtual space generating apparatus shown in FIG. As shown in the figure, the input information recording means 3 continuously encodes the input data from the image input means 1 and the angle measuring means 2 and the encoding means 35 and the encoded image information and angle measuring information. And a continuous data storage means 36 for storing and storing. As shown in FIG.
The information input from the angle input unit 2 and the image input unit 1 is subjected to processing such as data compression by the encoding unit 35. At this time, the information inputted simultaneously from the angle input means 2 and the image input means 1 is put together. For example,
When the MPEG data format is used, the angle information is converted into an audio signal. The continuous data accumulating means 36 accumulates the information thus continuously input.

【００３６】図４は図１に示す仮想空間生成装置の中の
構造化データ記録手段４の部分をより詳細に示した要部
ブロック図である。この図に示すように、構造化データ
記録手段４は入力情報記録手段３からデータを受領して
構造化処理を施す構造化データ作成手段４１を有してい
る。そして、この構造化データ作成手段４１によって複
数枚の画像データ８が作成される。１枚の画像データ８
は角度測定手段２によって測定された角度情報から得ら
れた方向情報が格納されたインデックス部８ａと、画像
入力手段１であるビデオカメラにより得られた画像情報
８ｂとから構成されており、画像入力手段１から入力さ
れた画像毎に複数枚作成される。FIG. 4 is a block diagram showing the main part of the structured data recording means 4 in the virtual space generating apparatus shown in FIG. 1 in more detail. As shown in this figure, the structured data recording means 4 has a structured data creation means 41 for receiving data from the input information recording means 3 and performing a structuring process. Then, the structured data creating means 41 creates a plurality of image data 8. One image data 8
Is composed of an index portion 8a in which the direction information obtained from the angle information measured by the angle measuring means 2 is stored, and image information 8b obtained by the video camera which is the image input means 1. A plurality of images are created for each image input from the means 1.

【００３７】構造化データ作成手段４１は、入力情報記
録手段３に符号化されて連続的に記録されている入力情
報を、撮影時の画像１枚毎に分割し、角度をもとににす
るインデックス付けを行なって多数枚の画像データ８と
する。このように、入力情報記録手段３にいったん入力
情報を記録し、構造化データ記録手段４で構造化すると
いった処理を行なうのは、画像情報８ｂなどの入力は撮
影と同時に行なう必要があるのに対し、データの構造化
は撮影した後に時間をかけて行っても差し支えないから
である。もし、入力情報の構造化を撮影と同時に行なう
ことができれば、入力情報記録手段を省略することがで
きる。The structured data creating means 41 divides the input information coded in the input information recording means 3 and continuously recorded for each image at the time of photographing, and based on the angle. A large number of image data 8 are indexed. In this way, the processing of recording the input information once in the input information recording means 3 and structuring it by the structured data recording means 4 is necessary because the input of the image information 8b and the like must be performed at the same time as the photographing. On the other hand, data structuring can be done over a long time after shooting. If the input information can be structured at the same time as photographing, the input information recording means can be omitted.

【００３８】図５は図１に示す仮想空間生成装置の中の
画像選択手段５の部分をより詳細に示した要部ブロック
図である。この図に示すように、画像選択手段５は、構
造化データ記録手段４からの画像情報を読み込む画像読
み込み手段５５と、構造化データ記録手段４からの方向
情報を入力するとともに視点入力手段６からの視点情報
を入力して両情報を比較する比較手段５６とを有してい
る。比較手段５６の比較結果は画像読み込み手段５５へ
送付されて画像選択が行なわれ、選択された画像情報が
画像表示手段７へ出力される。FIG. 5 is a principal block diagram showing in more detail the part of the image selecting means 5 in the virtual space generating apparatus shown in FIG. As shown in this figure, the image selection means 5 inputs the image information from the structured data recording means 4, the image reading means 55, the direction information from the structured data recording means 4, and the viewpoint input means 6 The comparison means 56 for inputting the viewpoint information and comparing the both information. The comparison result of the comparison means 56 is sent to the image reading means 55 for image selection, and the selected image information is output to the image display means 7.

【００３９】かかる構成を有する仮想空間生成装置の動
作を図６から図８を用いて説明する。図６は、画像入力
装置であるビデオカメラを用いて撮影対象物である立木
を撮影するにあたり、上記ビデオカメラを１地点に設置
して撮影角度を変えながら（つまり、首振りさせて）撮
影する状態を示す図である。また図７は上記のようにビ
デオカメラを１地点に設置して撮影角度を変えながら撮
影する場合に得られる画像を示す図である。図６におい
て、５１は画像入力装置であるビデオカメラ、５２は撮
影対象物、５３は撮影地点である。図５に示すように、
撮影対象物５２を撮影するために、カメラ５１を撮影地
点５３でいろいろな方向を向けて録画操作を行なう。図
７は撮影対象物と、撮影した画像の関係を示している。
図７において、５２は図６において示したのと同様な撮
影対象物、６２は画像入力装置の一部、６３は画像入力
装置のレンズ、６４はレンズを通して結ばれた像、６５
は撮影された画像を示している。図７に示すように、撮
影対象物５２を画像入力装置６２によって撮影すると、
レンズ６３を通して像６４が結ばれる。ビデオカメラの
場合はこの地点（位置）に撮像素子があり、電子的に画
像が記録される。この地点に結ばれる像６４を、便宜的
にレンズをはさんで同じ距離にある画像６５で代用する
ことにする。図７に示すように、撮影対象物５２が画像
６５のように撮影される。The operation of the virtual space generation device having such a configuration will be described with reference to FIGS. 6 to 8. FIG. 6 shows a case where a video camera, which is an image input device, is used to shoot a standing tree, which is a shooting target, while the video camera is installed at one point and the shooting angle is changed (that is, the camera is swung). It is a figure which shows a state. Further, FIG. 7 is a diagram showing an image obtained when a video camera is installed at one point and shooting is performed while changing a shooting angle as described above. In FIG. 6, 51 is a video camera which is an image input device, 52 is an object to be photographed, and 53 is a photographing point. As shown in FIG.
In order to photograph the object 52 to be photographed, the camera 51 is turned in various directions at the photographing point 53 to perform a recording operation. FIG. 7 shows the relationship between the photographed object and the photographed image.
In FIG. 7, 52 is the same object as that shown in FIG. 6, 62 is a part of the image input device, 63 is a lens of the image input device, 64 is an image formed through the lens, and 65.
Indicates a photographed image. As shown in FIG. 7, when the image capturing object 52 is captured by the image input device 62,
An image 64 is formed through the lens 63. In the case of a video camera, there is an image sensor at this point (position), and an image is electronically recorded. For the sake of convenience, the image 64 formed at this point will be replaced by an image 65 located at the same distance with a lens in between. As shown in FIG. 7, the photographing target 52 is photographed as an image 65.

【００４０】図８は視点と視野角などの関係をモデル化
して示したものである。図８において、７１は視点、７
２は視野角、７３は視点の方向、７４は画像、７５は画
像の視野、７６は画像の視点を示している。画像７４は
図７における画像６５をモデル化して表したものであ
る。図８では、視点７１から視野角７２で方向７３を見
て撮影した結果、画像７４が得られたことを示してい
る。また、図８の右側はこれの簡易表現を表わしてお
り、画像の視野７５で、視点７１から見える範囲を、画
像の視点７６で視点７１の位置を表わしている。FIG. 8 shows a model of the relationship between the viewpoint and the viewing angle. In FIG. 8, 71 is the viewpoint, 7
2 is a viewing angle, 73 is a viewpoint direction, 74 is an image, 75 is a field of view of the image, and 76 is a viewpoint of the image. The image 74 is a modeled representation of the image 65 in FIG. FIG. 8 shows that an image 74 is obtained as a result of photographing from the viewpoint 71 in the viewing angle 72 in the direction 73. Further, the right side of FIG. 8 shows a simple representation of this, in which the visual field 75 of the image shows the range seen from the viewpoint 71, and the visual point 76 of the image shows the position of the viewpoint 71.

【００４１】図９は、撮影対象物を様々な視点から撮影
した様子を示している。図９において、８１はユーザの
視野、８２は第１の画像の視野、８３は第２の画像の視
野、８４は原点である。ユーザの視野８１はユーザが原
点に立っていると考えて、視点入力手段６により見る角
度を決めることによって設定される。ユーザの視点に対
して、撮影した様々な画像の位置関係を求めるために、
ユーザの視野は原点中心でｘ軸を通るように固定する。
そして、画像の視野はユーザの視野にする相対角度を計
算し座標軸に設定する。図６に示すように、撮影地点５
３において様々な方向を向けてカメラで画像を撮影する
と、これに応じて角度入力手段２より撮影した方向の角
度が一緒に入力される。この角度をもとにユーザの視野
に対する相対位置を計算し、図９のように原点８４の回
りに画像の視野を配置する。このとき、視野の最も多く
重なった画像を選択し表示する。すなわち、図４および
図５において、視点入力手段６から入力されたユーザの
見たい角度を元に、画像選択手段５の比較手段５６が構
造化データ記録手段４のインデックス８ａにある角度と
比較して、ユーザの視野と画像の視野の重なったもの
を、画像読み込み手段５５が読み出す。そして、この画
像は画像表示手段７によって表示される。FIG. 9 shows how the object to be photographed is photographed from various viewpoints. In FIG. 9, 81 is the visual field of the user, 82 is the visual field of the first image, 83 is the visual field of the second image, and 84 is the origin. The visual field 81 of the user is set by considering the user standing at the origin and determining the viewing angle by the viewpoint input means 6. In order to obtain the positional relationship of various captured images with respect to the user's viewpoint,
The field of view of the user is fixed so as to pass through the x axis at the center of the origin.
Then, the visual field of the image is set to the coordinate axis by calculating the relative angle to the visual field of the user. As shown in FIG.
When images are taken by the camera in various directions in 3, the angles of the taken directions are also input from the angle input means 2 accordingly. Based on this angle, the relative position to the visual field of the user is calculated, and the visual field of the image is arranged around the origin 84 as shown in FIG. At this time, the image in which the fields of view overlap most is selected and displayed. That is, in FIG. 4 and FIG. 5, the comparing means 56 of the image selecting means 5 compares with the angle at the index 8 a of the structured data recording means 4 based on the user's desired angle input from the viewpoint input means 6. Then, the image reading means 55 reads out the image in which the visual field of the user and the visual field of the image overlap. Then, this image is displayed by the image display means 7.

【００４２】（実施の形態２）図１０は、第２の実施の
形態における仮想空間生成装置のブロック構成図であ
る。図１０において、１は撮像装置やカメラなどから成
り画像を入力する画像入力手段、２は画像入力手段１の
向いている角度を測定する角度測定手段、３は画像入力
手段１の入力した画像情報と前記角度測定手段２の測定
した方向の情報などの入力情報を記録する入力情報記録
手段、４は入力情報記録手段３の記録している情報を構
造化した結果を記録する構造化データ記録手段、５は後
述の視点入力手段６から入力された視点に最も近い画像
を前記構造化データ記録手段４から選択する画像選択手
段、６は視点を入力する視点入力手段、７は画像選択手
段５の選択した画像を表示する画像表示手段、９は位置
測定手段である。すなわち、図１０においては、１から
７までは実施の形態１と同じで、位置測定手段９が付加
されている。(Embodiment 2) FIG. 10 is a block diagram of a virtual space generation apparatus according to the second embodiment. In FIG. 10, reference numeral 1 is an image input means for inputting an image, such as an image pickup device or camera, 2 is an angle measuring means for measuring an angle at which the image input means 1 is facing, and 3 is image information input by the image input means 1. And input information recording means for recording input information such as information on the direction measured by the angle measuring means 2 and structured data recording means 4 for recording the result of structuring the information recorded by the input information recording means 3. Reference numeral 5 is an image selecting means for selecting from the structured data recording means 4 an image closest to the viewpoint input from a viewpoint input means 6 described later, 6 is a viewpoint input means for inputting a viewpoint, and 7 is an image selecting means 5. Image display means for displaying the selected image, and 9 is position measuring means. That is, in FIG. 10, 1 to 7 are the same as those in the first embodiment, and the position measuring means 9 is added.

【００４３】図１１は上記第２の実施の形態に係る仮想
空間生成装置を具体的な機器構成の例によって図説する
ものである。図１１において、２１は本体である。この
事例によれば、画像入力手段１の機器としてビデオカメ
ラが用いられる。このビデオカメラは本体２１上に角度
測定手段２としてジャイロを装備し、また入力情報記録
手段３としてメモリを備え、さらに視点入力手段６とし
て操作パネル、画像表示手段７としてビューファインダ
ー、或いは液晶ディスプレー、位置測定手段９としてＧ
ＰＳ（グローバル・ポジショニング・システム：通信衛
星を使った位置測定システム）を備えている。また、こ
のビデオカメラは、構造化データ記憶手段４および画像
選択手段５を内蔵している。FIG. 11 illustrates the virtual space generation device according to the second embodiment with an example of a concrete device configuration. In FIG. 11, reference numeral 21 is a main body. According to this example, a video camera is used as the device of the image input means 1. This video camera is equipped with a gyro as the angle measuring means 2 on the main body 21, a memory as the input information recording means 3, an operation panel as the viewpoint input means 6, a viewfinder or a liquid crystal display as the image display means 7, G as the position measuring means 9
It is equipped with PS (Global Positioning System: Position measurement system using communication satellites). This video camera also has a structured data storage means 4 and an image selection means 5 built therein.

【００４４】図１２は図１０に示す仮想空間生成装置の
中の構造化データ記録手段４の部分をより詳細に示した
要部ブロック図である。この図に示すように、構造化デ
ータ記録手段４では複数枚の画像データ８が作成され
る。１枚の画像データ８は角度測定手段２によって測定
された角度情報から得られた方向情報が格納されたイン
デックス部８ａと、画像入力手段１であるビデオカメラ
により得られた画像情報８ｂとから構成されており、画
像入力手段１から入力された画像毎に複数枚作成され
る。FIG. 12 is a block diagram of the essential parts showing in more detail the portion of the structured data recording means 4 in the virtual space generation apparatus shown in FIG. As shown in this figure, the structured data recording means 4 creates a plurality of image data 8. One piece of image data 8 is composed of an index portion 8a in which direction information obtained from the angle information measured by the angle measuring means 2 is stored and image information 8b obtained by the video camera which is the image input means 1. A plurality of images are created for each image input from the image input means 1.

【００４５】構造化データ記録手段４では、入力情報記
録手段３に符号化されて連続的に記録されている入力情
報を、撮影時の画像１枚毎に分割し、角度をもとににす
るインデックス付けを行なって多数枚の画像データ３３
とする。このように、入力情報記録手段３にいったん入
力情報を記録し、構造化データ記録手段４で構造化する
といった処理を行なうのは、画像情報８ｂなどの入力は
撮影と同時に行なう必要があるのに対し、データの構造
化は撮影した後に時間をかけて行っても差し支えないか
らである。もし、入力情報の構造化を撮影と同時に行な
うことができれば、入力情報記録手段を省略することが
できる。In the structured data recording means 4, the input information coded in the input information recording means 3 and continuously recorded is divided for each image at the time of photographing, and based on the angle. Image data of a large number of images 33 by indexing
And In this way, the processing of recording the input information once in the input information recording means 3 and structuring it by the structured data recording means 4 is necessary because the input of the image information 8b and the like must be performed at the same time as the photographing. On the other hand, data structuring can be done over a long time after shooting. If the input information can be structured at the same time as photographing, the input information recording means can be omitted.

【００４６】かかる構成を有する第２の実施の形態に係
る仮想空間生成装置の動作を図１３から図２４を用いて
説明する。図１３は、画像入力装置であるビデオカメラ
を用いて撮影対象物である立木を撮影するにあたり、一
台のビデオカメラを２地点（複数地点でもよい）に移動
させ、且つ撮影角度を変えながら（つまり、首振りさせ
ながら移動させて）撮影する状態を示す図である。また
図１４は、上記のようにビデオカメラを位置を変え且つ
撮影角度を変えながら撮影した場合に得られる画像の視
野および視点を表す図である。図１３において、１２１
は画像入力装置であるビデオカメラ、１２２は撮影対象
物、１２３および１２４は撮影地点である。図１３に示
すように、撮影対象物１２２を撮影するために、カメラ
１２１を撮影地点１２３や撮影地点１２４などでいろい
ろな方向へ向けて録画操作を行なう。図１４は、撮影対
象物１２２を様々な視点から撮影している様子を示して
いる。図１４においては、画像の視野として先に図８を
用いて説明したのと同じ表現を用いている。図１４にお
いて、１３１は撮影対象物、１３２は撮影対象物１３１
を様々な視点から撮影している様子を示している。ま
た、１３３は撮影対象物１３１に視点が近づいている様
子を示している。撮影対象物１３１は上記撮影対象物１
２２と同じものであるが、ビデオカメラ１２１が遠ざか
ったり近づいたりと、より動き回って撮影地点が変わ
り、撮影のされ方が違っている。撮影対象物１３１を様
々な方向から知るために、１３２のように視点を様々な
位置に移動したり、１３３のように対象物に近づいたり
する。このようにして対象物１３１を撮影した結果、各
々の視点毎に画像が得られることになる。The operation of the virtual space generation device according to the second embodiment having such a configuration will be described with reference to FIGS. 13 to 24. FIG. 13 shows that when shooting a standing tree which is a shooting target using a video camera which is an image input device, one video camera is moved to two points (may be a plurality of points) and the shooting angle is changed ( That is, it is a diagram showing a state in which an image is taken while moving while swinging. FIG. 14 is a diagram showing the visual field and viewpoint of an image obtained when the video camera is photographed while changing the position and the photographing angle as described above. In FIG. 13, 121
Is a video camera as an image input device, 122 is an object to be photographed, and 123 and 124 are photographing points. As shown in FIG. 13, in order to photograph the photographing object 122, the camera 121 is operated in various directions at the photographing point 123, the photographing point 124, and the like to perform a recording operation. FIG. 14 shows a state in which the object 122 to be photographed is photographed from various viewpoints. In FIG. 14, the same expression as described above with reference to FIG. 8 is used as the visual field of the image. In FIG. 14, 131 is an object to be photographed, 132 is an object 131 to be photographed.
It shows a scene of shooting from various viewpoints. Further, reference numeral 133 indicates a state in which the viewpoint approaches the object 131 to be photographed. The photographing target 131 is the above-mentioned photographing target 1.
It is the same as No. 22, but as the video camera 121 moves away or approaches, the shooting point changes due to more moving around, and the way the images are taken is different. In order to know the imaging target object 131 from various directions, the viewpoint is moved to various positions like 132, or the object is approached like 133. As a result of photographing the object 131 in this way, an image is obtained for each viewpoint.

【００４７】図１５は、撮影した画像を選択するための
手順を説明する図である。図１５において、１４１、１
４２、１４３、１４４、１４５は、撮影対象物１３１を
撮影した画像を選択するためにユーザが設定した視点で
これをユーザの視点と呼ぶ。画像を撮影した際の画像の
視点と区別するために、ユーザの視点には、視野角の間
に陰（図１５中視野角の内部を扇形に塗ったもの）を入
れてある。ビデオカメラ１２１などで、撮影対象物１３
１を次々と撮影した後、この画像をユーザが見る場合に
は、ユーザの視点を１４１から１４５のように指定して
行なう。１４１から１４４までは、いろいろな方向を見
ている場合を示しており、１４５は撮影対象物に近づい
て見ている様子を示している。FIG. 15 is a diagram for explaining the procedure for selecting a photographed image. In FIG. 15, 141, 1
42, 143, 144, and 145 are viewpoints set by the user in order to select an image of the object 131, which is referred to as the user's viewpoint. In order to distinguish from the viewpoint of the image when the image was captured, the user's viewpoint has a shade between the viewing angles (the inside of the viewing angle is fan-shaped in FIG. 15). The object 13 to be photographed by the video camera 121 or the like.
When the user views this image after shooting one after another, the user's viewpoint is designated as from 141 to 145. Reference numerals 141 to 144 show cases where the user is looking in various directions, and 145 shows a state where he / she is approaching the object to be photographed.

【００４８】実施の形態２の課題は、これらの視点から
みたものに一番近い画像を図１４の画像の中から選択す
ることである。図１６は、画像の視点と、ユーザの視点
の対応を示している。同図中の符号は図１４および図１
５で説明したものと同じである。ユーザの視点を１４１
に設定した場合、この方向で見て撮影した画像がないの
で、撮影した画像のどれかを表示する場合には、ユーザ
の指定した視点とはかなり異なった位置の画像を表示す
る。また、ユーザの視点１４２や１４４では、比較的指
示したユーザの視点と近い画像が得られる。また、ユー
ザの視点１４３では、近くのものはないが、少しはなれ
たものであれば撮影されていると考えられる。さらに、
ユーザの視点１４５の場合は、ユーザの視点１４４から
移動してきた場合、移動している視点１３２から撮影さ
れたものではなく、近づいている視点１３３の中から撮
影した画像に近いものが得られると考えられる。The problem of the second embodiment is to select the image closest to those viewed from these viewpoints from the images shown in FIG. FIG. 16 shows the correspondence between the viewpoint of the image and the viewpoint of the user. Reference symbols in FIG. 14 and FIG.
It is the same as that described in 5. User's point of view 141
When set to, there is no image shot in this direction, so when displaying any of the shot images, an image at a position quite different from the viewpoint specified by the user is displayed. Further, with the viewpoints 142 and 144 of the user, an image relatively close to the viewpoint of the instructing user can be obtained. Further, from the user's viewpoint 143, there is no near object, but it is considered that an image is taken if it is a little off. further,
In the case of the user's viewpoint 145, when moving from the user's viewpoint 144, an image closer to the captured image is obtained from the approaching viewpoint 133 instead of the image captured from the moving viewpoint 132. Conceivable.

【００４９】図１７は、撮影対象物を撮影した画像と、
ユーザの視点などの関係を示したものである。図１７の
下は画像を撮影した場所における画像の視野とユーザの
視野の位置関係を立体的に示したもので、図１７の左上
はこれを２次元的にわかりやすくしたものである。ま
た、右上は、画像に画像に対してユーザの視点から見え
る範囲を示したものである。そして、この図１７はユー
ザの視野の方が画像の視野より前にある様子を示してい
る。図１７において１６１はユーザの視野、１６２は画
像の視野、１６３、１６４、１６５は各々同心円、１６
６は同心円１６５をユーザの視野から見た部分、１６７
は同心円１６５を画像の視野から見た部分、１６８はユ
ーザの視野に対応する画像、１７０は撮影対象物、１６
９は撮影対象物１７０を撮影した画像、１７１はユーザ
の視野、１７２は画像の視野である。１７５は撮影対象
物１７０の背後におかれ、画像を表示する仮想の円筒、
１７３はユーザの視野１６６に対応するユーザの視野１
７１から見える円筒の部分、１７２は画像の視野１６７
に対応する画像の視野１７２から見える円筒の部分であ
る。同心円上において、ユーザの視野１６１は図１７に
示すように座標の原点とｘ座標軸を通るように固定され
ている。画像の視野１６２は、撮影した場所におけるユ
ーザの視野１７３と画像の視野１７４の位置関係を保つ
ようにｘ座標軸上に置かれる。ユーザの視野１６１から
同心円１６５をみると、同心円部分１６６が見える。こ
れに対して、画像の視野１６２から見えるものが、同心
円部分１６７である。画像は１６７にマッピングして考
える。FIG. 17 shows an image obtained by photographing an object to be photographed,
It shows a relationship such as a user's viewpoint. The lower part of FIG. 17 shows the positional relationship between the visual field of the image and the visual field of the user at the place where the image is captured in a three-dimensional manner, and the upper left part of FIG. The upper right part shows the range of the image that can be seen from the user's viewpoint. Then, FIG. 17 shows a state in which the visual field of the user is ahead of the visual field of the image. In FIG. 17, 161 is a user's visual field, 162 is an image visual field, 163, 164, and 165 are concentric circles, 16 respectively.
6 is a portion of the concentric circle 165 seen from the user's field of view, 167
Is a portion of the concentric circles 165 seen from the visual field of the image, 168 is an image corresponding to the visual field of the user, 170 is an object to be photographed, 16
Reference numeral 9 denotes an image of the object 170 to be captured, 171 is a user's visual field, and 172 is an image visual field. 175 is a virtual cylinder that is placed behind the object 170 to display an image,
173 is a user's visual field 1 corresponding to the user's visual field 166
The cylindrical portion seen from 71, 172 is the visual field 167 of the image.
Is a cylindrical portion that can be seen from the visual field 172 of the image. On the concentric circle, the visual field 161 of the user is fixed so as to pass through the origin of coordinates and the x coordinate axis as shown in FIG. The visual field 162 of the image is placed on the x coordinate axis so as to maintain the positional relationship between the visual field 173 of the user and the visual field 174 of the image at the shooting location. When viewing the concentric circles 165 from the user's visual field 161, the concentric circle portions 166 are visible. On the other hand, what is seen from the visual field 162 of the image is the concentric circle portion 167. The image is considered by mapping to 167.

【００５０】この関係を３次元的に見ると、図１７の下
部に示してあるように、撮影対象物１７０、ユーザの視
野１７１、画像の視野１７２のようになる。この場合
は、物体を撮影した画像の視野１７２より前に、ユーザ
の視野１７１がある。撮影対象物１７０の背後に円筒１
７５を仮想的に設け、ユーザの視野１７３や、画像の視
野１７２からこれを見ると、各視野１７３や１７４の部
分が見えることになる。このような視野から実際に見え
る画像を考えて見ると、画像の視野１７４からは１６８
のような実際に撮影した画像が見えることになり、ユー
ザの視野１７３から見える部分は、視野１７３、１７４
のこの位置関係の場合は、１６８のように画像の一部と
なる。When this relationship is viewed three-dimensionally, as shown in the lower part of FIG. 17, the object 170, the user's visual field 171, and the image visual field 172 are obtained. In this case, the visual field 171 of the user is present before the visual field 172 of the image of the object. Cylinder 1 behind the subject 170
When 75 is virtually provided and viewed from the visual field 173 of the user or the visual field 172 of the image, the respective visual fields 173 and 174 can be seen. Considering an image that is actually seen from such a field of view, 168 is seen from the field of view 174 of the image.
The image actually photographed will be visible, and the parts visible from the user's visual field 173 are the visual fields 173 and 174.
In the case of this positional relationship of No. 1, it becomes a part of the image like 168.

【００５１】図１８は、図１７とは逆にユーザの視野の
方が画像の視野より後ろにある様子を示している。図１
８において、１６３、１６４、１６５は各々同心円、１
７６は同心円１６３、１６４、１６５上におけるユーザ
の視野、１７７は同心円１６３、１６４、１６５上にお
ける画像の視野、１７８はユーザの視野１７６に対応す
る、立体的に表したユーザの視野、１７９は画像の視野
１７７に対応する、立体的に表した画像の視野を表わし
たものである。図１８には示してないが、この図におい
ても、図１７と同様、撮影対象物の背後に円筒１７５を
仮想的に設けてあるものとする。１８０は撮影対象物、
１８１は画像の視野１７７から円筒１７５上に見える画
像の範囲、１８２はユーザの視野１７６から円筒１７５
上に見える画像の範囲である。ユーザの視野１７８が画
像の視野１７９よりも後ろにあるために、ユーザの視野
から見える画像の範囲１８２の中（内側）に、画像１８
１が見える。In contrast to FIG. 17, FIG. 18 shows that the visual field of the user is behind the visual field of the image. Figure 1
8, 163, 164 and 165 are concentric circles and 1
76 is a user's field of view on the concentric circles 163, 164, 165, 177 is a field of view of the image on the concentric circles 163, 164, 165, 178 is a user's field of view 176 corresponding to the user's field of view 176, and 179 is an image. 3 is a view showing the visual field of a stereoscopically represented image corresponding to the visual field 177 of FIG. Although not shown in FIG. 18, similarly to FIG. 17, it is assumed that a cylinder 175 is virtually provided behind the object to be imaged in this figure as well. 180 is an object to be photographed,
181 is the range of the image seen from the image view 177 to the cylinder 175, and 182 is the user view 176 to the cylinder 175.
The area of the image seen above. Since the user's field of view 178 is behind the image field of view 179, the image 18 is within (inside) the area 182 of the image visible from the user's field of view.
I can see 1.

【００５２】図１９は、ユーザの視野１８２と画像の視
野１８３がずれていることを示している。図１９におい
て、１６３、１６４、１６５は各々同心円、１８２は同
心円１６３、１６４、１６５上におけるユーザの視野、
１８３は同心円１６３、１６４、１６５上における画像
の視野を表わしたものである。図１９では 立体的な視
野表現は行なっていないが、図１７および図１８におけ
ると同様、同心円上のユーザの視野１８２に対応する、
立体的に表したユーザの視野、および同心円上の画像の
視野１８３に対応する、立体的に表した画像の視野を想
定するものである。さらに図１９には示してないが、こ
の図においても、図１７と同様、撮影対象物の背後に円
筒１７５を仮想的に設けてあるものとする。１８４は立
体的に表したユーザの視野から円筒１７５上に見える画
像の範囲、１８５は立体的に表した画像の視野から円筒
１７５上に見える画像の範囲である。ユーザの視野１８
２と画像の視野１８５が互いにずれていることから、図
１９に示すような位置関係から円筒１７５を見た場合、
ユーザの視野１８２からは１８４の範囲の画像が見え、
画像の範囲１８５の一部が見えることになる。なお、図
１９で画像の範囲１８４と１８５のずれの大きさや方向
は、ユーザの視野１８２と画像の視野１８３の関係を正
確に表現したものではなく、単に入れ子になっているこ
とを表現している。FIG. 19 shows that the visual field 182 of the user and the visual field 183 of the image are deviated. In FIG. 19, 163, 164 and 165 are concentric circles, 182 is a visual field of the user on the concentric circles 163, 164 and 165, respectively.
Reference numeral 183 represents the visual field of the image on the concentric circles 163, 164, 165. Although the three-dimensional visual field representation is not performed in FIG. 19, as in FIGS. 17 and 18, the visual field 182 of the user on the concentric circles corresponds to
A three-dimensionally represented user's visual field and a three-dimensionally represented visual field of an image 183 are assumed. Further, although not shown in FIG. 19, it is assumed that a cylinder 175 is virtually provided behind the object to be photographed in this figure as well as in FIG. Reference numeral 184 denotes a range of an image viewed on the cylinder 175 from the user's three-dimensional view, and 185 denotes a range of an image viewed on the cylinder 175 from the three-dimensional view of the image. User's field of view 18
2 and the visual field 185 of the image are deviated from each other, when the cylinder 175 is viewed from the positional relationship shown in FIG.
An image in the range of 184 can be seen from the user's visual field 182,
A part of the image range 185 will be visible. In FIG. 19, the magnitude and direction of the shift between the image ranges 184 and 185 do not accurately represent the relationship between the user's visual field 182 and the visual field 183 of the image, but merely represent that they are nested. There is.

【００５３】図２０は、円筒１７５の半径を変えながら
（図２０（ａ）と図２０（ｂ））円筒１７５に画像を投
影し、その投影像をユーザの視野から見ていくと、円筒
１７５の半径を変えるにしたがって、画像が見えたり見
えなかったりすることを示している図である。図２０
（ａ）において、１９１はユーザの視野、１９２は画像
の視野、１９３はユーザの視野１９１から見える画像の
範囲、１９４は撮影対象物の画像、１９９および２００
は円筒１７５を上から見た同心円を示している。図２０
（ａ）は同心円１９９、２００のうち内側の円１９９を
対象に考えている。また、図２０（ｂ）は外側の円２０
０を対象に考えており、１９５はユーザの視野、１９６
は画像の視野、１９７はユーザの視野１９５から外側の
円の見える範囲、１９８は画像の視野１９６から外側の
円が見える範囲である。In FIG. 20, an image is projected on the cylinder 175 while changing the radius of the cylinder 175 (FIGS. 20 (a) and 20 (b)), and the projected image is viewed from the user's visual field. FIG. 8 is a diagram showing that an image is visible or invisible as the radius of is changed. Figure 20
In (a), 191 is the visual field of the user, 192 is the visual field of the image, 193 is the range of the image seen from the visual field 191 of the user, 194 is the image of the object to be photographed, 199 and 200.
Indicates a concentric circle when the cylinder 175 is viewed from above. Figure 20
(A) is intended for the inner circle 199 of the concentric circles 199, 200. Further, FIG. 20B shows the outer circle 20.
0 is the target, 195 is the user's field of view, 196
Is the field of view of the image, 197 is the range in which the outer circle can be seen from the field of view 195 of the user, and 198 is the range in which the outer circle is visible from the field of view 196 of the image.

【００５４】このような状態において、各々の視野から
内側の円１９９を見た場合は、２つの視野１９１、１９
２が重なったところがあるので、画像の範囲１９３およ
び１９４に示すように、ユーザの視点から見ると、円筒
にマッピングされた画像の一部が見える。しかし、図２
０（ｂ）のように、外側の円２００を見ると２つの視野
１９１、１９２が重なったところがないので、ユーザの
視野１９１からは、撮影対象物の画像は見えない。In this state, when the inner circle 199 is seen from each of the visual fields, the two visual fields 191 and 19 are
Since the two overlap, there is a portion of the image mapped to the cylinder visible from the user's point of view, as shown in image ranges 193 and 194. However, FIG.
When the outer circle 200 is viewed, as in 0 (b), there is no overlap between the two fields of view 191, 192, so the image of the object to be photographed cannot be seen from the field of view 191 of the user.

【００５５】図２１（ａ）は、ユーザの視野と画像の視
野がまったく重ならない場合の状態を示している。図２
１（ａ）において、２０１はユーザの視野、２０２は画
像の視野である。この場合は、ユーザの視野から見た場
合、撮影対象物の画像は全く見えない。FIG. 21A shows a state where the visual field of the user and the visual field of the image do not overlap at all. Figure 2
In 1 (a), 201 is the visual field of the user and 202 is the visual field of the image. In this case, when viewed from the user's field of view, the image of the object to be photographed cannot be seen at all.

【００５６】図１８から図２１を用いて述べた画像の視
野とユーザの視野の関係を整理すると、次の３つのケー
スがあることがわかる。 （１）画像の視野とユーザの視野が同じ方向を向いてい
る場合である。この場合は、円筒の半径を大きくしてい
けば、かならずユーザの視野から画像が見えるようにな
る。 （２）画像の視野とユーザの視野が交差している場合で
ある。この場合は、円筒の一定の半径においてユーザの
視野から画像が見える。 （３）画像の視野とユーザの視野がまったく重ならない
場合である。この場合は、円筒の半径をどのようにして
もユーザの視野から画像が見えない。When the relationship between the visual field of the image and the visual field of the user described with reference to FIGS. 18 to 21 is organized, it can be seen that there are the following three cases. (1) This is a case where the visual field of the image and the visual field of the user face the same direction. In this case, if the radius of the cylinder is increased, the image can be seen from the user's visual field. (2) The case where the visual field of the image and the visual field of the user intersect. In this case, the image is visible from the user's field of view at a constant radius of the cylinder. (3) The case where the visual field of the image and the visual field of the user do not overlap at all. In this case, the image cannot be seen from the user's visual field regardless of the radius of the cylinder.

【００５７】ここで、実際の撮影対象物の位置と画像の
視野、ユーザの視野の関係には図２１（ｂ）の様な関係
がある。図２１（ｂ）において、２０３、２１０は画像
の視野、２０５はユーザの視野、２０６、２０７は撮影
対象物、２０９は視点、２０４はユーザの視点を中心と
する円筒の一部である。視点２０９から視野の方向に見
ると、視野の範囲にあるものがすべて見える。ユーザの
視野２０５に最も近い画像の視野を選ぶ際、撮影対象物
が２０７の場所にある場合は、画像の視野２０３は選ば
れ、撮影対象物が２０６にある場合は、画像の視野２０
３は選ばれないのが好ましいが、撮影対象物までの距離
は不明である。そこで、ユーザの視野２０５に最も近い
画像の視野を選択する場合、ユーザの視点を中心にした
円筒を考え、ユーザの視野から見た円筒の部分と、画像
の視野から見た円筒の部分の重なり具合のみで判断する
ことにする。Here, the relationship between the actual position of the object to be photographed, the visual field of the image, and the visual field of the user has a relationship as shown in FIG. 21 (b). In FIG. 21B, 203 and 210 are the visual field of the image, 205 is the visual field of the user, 206 and 207 are objects to be photographed, 209 is the viewpoint, and 204 is a part of a cylinder centered on the user's viewpoint. When viewed in the direction of the field of view from the viewpoint 209, everything within the field of view can be seen. When selecting the field of view of the image closest to the field of view 205 of the user, the field of view 203 of the image is selected if the object to be photographed is at 207, and if the object of photography is at 206, the field of view 20 of the image is selected.
Although 3 is preferably not selected, the distance to the object to be photographed is unknown. Therefore, when selecting the field of view of the image that is closest to the field of view 205 of the user, consider a cylinder centered on the viewpoint of the user, and overlap the part of the cylinder viewed from the view of the user with the part of the cylinder viewed from the view of the image. We will decide based on the condition.

【００５８】例えば、図２１（ｂ）では、ユーザの視野
２０５から円筒２０４の見える範囲はＣ−Ｅ、画像の視
野２０３から見える円筒の範囲はＢ−Ｄ、画像の視野２
１０から見える円筒の範囲はＡ−Ｆである。このため、
ユーザの視野２０５から見える範囲と画像の視野２０３
または視野２０９から見える範囲の割合は、視点２０９
の方が大きい。そこで、図２１（ｂ）の様な場合は、ユ
ーザの視野２０５には、画像の視野２０３の方が画像の
視野２１０より近いと判断して、画像の視野２０３を選
択することにする。そして、画像の視野を選択した後
に、ユーザの視野は画像の視野と一致させる。For example, in FIG. 21B, the visible range of the cylinder 204 from the user's visual field 205 is CE, the range of the cylindrical visible from the visual field 203 of the image is BD, and the visual field 2 of the image.
The range of the cylinder visible from 10 is AF. For this reason,
Range visible from user's visual field 205 and visual field 203
Alternatively, the ratio of the range seen from the visual field 209 is
Is bigger. Therefore, in the case of FIG. 21B, it is determined that the visual field 203 of the image is closer to the visual field 205 of the user than the visual field 210 of the image, and the visual field 203 of the image is selected. Then, after selecting the field of view of the image, the field of view of the user is matched with the field of view of the image.

【００５９】図２２は、ユーザの視野、画像の視野およ
び投影する円筒などの関係を示したものである。図２２
において、２１１はユーザの視野、２１２は画像の視
野、２１５は円筒、２１６は円筒の半径、２１３はユー
ザの視野から円筒が見える範囲、２１４は画像の視野か
ら見た円筒の範囲、２１７はユーザの視野から見える円
筒の範囲と画像の視野から見える円筒の範囲の重なって
いる部分である。図２２に示すように、重なった部分２
１７は円筒２１５の半径２１６が変化するにつれて変化
する。FIG. 22 shows the relationship among the field of view of the user, the field of view of the image, the cylinder on which the image is projected, and the like. FIG. 22
, 211 is the field of view of the user, 212 is the field of view of the image, 215 is the cylinder, 216 is the radius of the cylinder, 213 is the range in which the cylinder can be seen from the view of the user, 214 is the range of the cylinder seen from the view of the image, and 217 is the user. It is the overlapping part of the range of the cylinder seen from the field of view and the range of the cylinder seen from the view of the image. As shown in FIG. 22, the overlapping portion 2
17 changes as the radius 216 of the cylinder 215 changes.

【００６０】図２３は図２２の状態においてユーザの視
野２１１から円筒２１５の画像が見える範囲と、画像の
視野２１２から見える円筒２１５の範囲の関係を示した
ものである。図２３において、２２１、２２３、２２５
はユーザの視野２１１から円筒２１５の見える範囲、２
２２、２２４、２２６は画像の視野２１２から円筒２１
５の見える範囲である。図２３（ａ）は、ユーザの視野
２１１が画像の視野を含んでいる場合を示し、また図２
３（ｂ）は逆に画像の視野２１２がユーザの視野を含ん
でいる場合を示している。円筒の半径が決まった後、ユ
ーザの視野２１１から見た円筒と、画像の視野２１２か
ら見える円筒の範囲を計算し、図２３（ｃ）のように重
ね合せる。そして、重なっている面積と重なっていない
部分の面積の和の比を求めることになる。そして、この
値は、ユーザの視野と画像の視野が一致したとき１対０
になり、全く一致しないときは０対１になるので１対０
に最も近いものをユーザの視点から見た画像に最も近い
ものにユーザの視点から見た画像に最も近いものとして
表示することにする。FIG. 23 shows the relationship between the range in which the image of the cylinder 215 can be seen from the user's visual field 211 and the range of the cylinder 215 seen from the visual field 212 of the image in the state of FIG. In FIG. 23, 221, 223, 225
Is the visible range of the cylinder 215 from the user's visual field 211, 2
Reference numerals 22, 224, and 226 indicate the cylinder 21 from the field of view 212 of the image.
5 is the visible range. FIG. 23A shows a case where the user's visual field 211 includes the visual field of the image, and FIG.
On the contrary, 3 (b) shows a case where the visual field 212 of the image includes the visual field of the user. After the radius of the cylinder is determined, the range of the cylinder viewed from the user's visual field 211 and the range of the cylinder viewed from the visual field 212 of the image are calculated and superposed as shown in FIG. Then, the ratio of the sum of the overlapping area and the non-overlapping area is obtained. Then, this value is 1 to 0 when the visual field of the user matches the visual field of the image.
If there is no match, it becomes 0 to 1, so 1 to 0
Will be displayed as the one closest to the image viewed from the user's point of view.

【００６１】図２４はこの手順の流れをフローチャート
にしたものである。このフローチャートにおいて、画像
の選択処理が開始されると、処理ステップ（以下、単に
ステップという）ＳＴ１において円筒２１５の半径ｒが
設定され、次いでステップＳＴ２において画像を見るた
めの視点が決定される。この視点が決定されると、ステ
ップＳＴ３において、上記円筒２１５を見るための視点
から見える範囲を計算し、その結果（Ａとする）が算出
される。次に、ステップＳＴ４において撮影した画像の
すべてについて円筒２１５上における撮影対象物の視点
から見える範囲を計算し、その結果（Ｂｎとする）が算
出される。そして、ステップＳＴ５において、ステップ
ＳＴ４で求めたＢｎのうち上記ステップＳＴ３で求めた
Ａとの面積比が最も小さなもの（比が「１」に近いも
の）を選択する。これによって、一連の画像の選択処理
動作が終了する。FIG. 24 is a flowchart showing the flow of this procedure. In this flowchart, when the image selection process is started, a radius r of the cylinder 215 is set in a processing step (hereinafter, simply referred to as step) ST1, and then a viewpoint for viewing the image is determined in step ST2. When this viewpoint is determined, in step ST3, the range visible from the viewpoint for viewing the cylinder 215 is calculated, and the result (denoted as A) is calculated. Next, in step ST4, the range in which the image of the object to be photographed on the cylinder 215 can be seen from all viewpoints is calculated, and the result (denoted as Bn) is calculated. Then, in step ST5, among Bn obtained in step ST4, the one having the smallest area ratio with A obtained in step ST3 (the one having a ratio close to “1”) is selected. This completes the series of image selection processing operations.

【００６２】（実施の形態３）図２５は、実施の形態３
における仮想空間生成装置のブロック構成図である。図
２５において、１から７まで、および９は実施の形態１
と同じで、拡大率入力手段２４１が付加されている。図
２６は、実施の形態３における装置の実際を現わしてい
る。図１０の実施の形態２と比較して、拡大縮小指示手
段２４１が新に付加されている。(Third Embodiment) FIG. 25 shows a third embodiment.
3 is a block configuration diagram of a virtual space generation device in FIG. In FIG. 25, 1 to 7 and 9 are the first embodiment.
The same as the above, except that an enlargement ratio input means 241 is added. FIG. 26 shows the actual state of the device according to the third embodiment. As compared with the second embodiment shown in FIG. 10, an enlargement / reduction instruction means 241 is newly added.

【００６３】以下、かかる構成を有する実施の形態３の
動作を図２７を用いて説明する。図２７において、２６
１はユーザの視野、２６２は画像の視野、２６３はユー
ザの視点、２６４は画像の視点である。画像の視点２６
４はユーザの視点２６３より前にあり、視野角が広がっ
ている。このため、各々の視野から見える円筒の範囲は
実施の形態１の場合と同じである。このようにして、拡
大率入力手段２４１が付加された場合は、拡大率に応じ
て視野角を変える。以下の処理は実施の形態と同じであ
る。The operation of the third embodiment having such a configuration will be described below with reference to FIG. In FIG. 27, 26
Reference numeral 1 is a user's visual field, 262 is an image visual field, 263 is a user's visual point, and 264 is an image visual point. Image perspective 26
4 is before the user's viewpoint 263, and the viewing angle is wide. Therefore, the range of the cylinder seen from each field of view is the same as that in the first embodiment. In this way, when the enlargement ratio input means 241 is added, the viewing angle is changed according to the enlargement ratio. The following processing is the same as that of the embodiment.

【００６４】（実施の形態４）図２８は、実施の形態４
における仮想空間生成装置のブロック構成図である。図
２８において、１から７まで、および９、２４１は実施
の形態３と同じで、距離入力手段２７１が付加されてい
る。図２９は実施の形態４における実際の装置を表わし
ている。実施の形態３と比較して、距離測定手段２８１
が新に付加されている。(Fourth Embodiment) FIG. 28 shows a fourth embodiment.
3 is a block configuration diagram of a virtual space generation device in FIG. In FIG. 28, 1 to 7 and 9, 241 are the same as those in the third embodiment, and a distance input means 271 is added. FIG. 29 shows an actual device according to the fourth embodiment. Compared with the third embodiment, distance measuring means 281
Is newly added.

【００６５】図３０、図３１は実施の形態４の動作を説
明したものである。図３０の右に示すように、簡略図で
は画像の位置２９１を表示する。２９２は画像までの距
離Ｌで、距離入力手段２７１から入力された距離を利用
する。図３１は、距離入力手段２７１の利用方法を説明
したものである。図３１において、３０１は撮影対象
物、３０２から３０４は画像の視点、３０５はユーザの
視点、３０６は円筒、３１０は画像の視野から見える円
筒の範囲、３２０はユーザの視野から見える円筒の範囲
である。画像までの距離がわかっている場合は、図３１
に示すように、撮影した撮影対象物までのおおよその位
置がわかっているので、円筒が画像の位置に来るように
設定すれば、視点３０５から見た場合との大きさの比較
が実際のものと近くなる。30 and 31 illustrate the operation of the fourth embodiment. As shown on the right side of FIG. 30, the position 291 of the image is displayed in the simplified diagram. Reference numeral 292 is a distance L to the image, which utilizes the distance input from the distance input means 271. FIG. 31 illustrates how to use the distance input means 271. In FIG. 31, 301 is an object to be photographed, 302 to 304 are the viewpoints of the image, 305 is the viewpoint of the user, 306 is a cylinder, 310 is the range of the cylinder seen from the view of the image, and 320 is the range of the cylinder seen from the view of the user. is there. If the distance to the image is known, then FIG.
As shown in, the approximate position up to the object to be photographed is known, so if the cylinder is set so as to come to the position of the image, the size comparison with that from the viewpoint 305 is actual. It will be close to.

【００６６】図３２および図３３は、画像までの距離が
わかっている場合の円筒の半径の決め方について説明し
たものである。図３２において、３１１はユーザの視
野、３１２、３１５は画像の視野、３１３、３１６は画
像の位置、３１４、３１７は円筒、３０８、３０９は円
筒を半径を変えた場合の画像の視野から見える円筒の範
囲、３２０はユーザの視野から見える円筒の範囲であ
る。画像までの距離があらかじめわかっている場合は、
画像毎に円筒の大きさを３１４や３１７の様に変えて、
それぞれについて、図３３の表に表したようにユーザの
視野から見た大きさと、画像の視野から見た大きさを比
較する。この結果、ユーザの視野に最も近い画像の視野
を持つものが選択される。例えば、撮影対象物３１８を
撮影した画像を見ようとする場合は、円筒を３１４のよ
うに設定する。このときのユーザの視野から見た円筒３
１４と画像の視野３１２から見た円筒３１４の関係（こ
れを関係「３１−上−Ａ」とする）、およびユーザの視
野から見た円筒３１４と画像の視野３１５から見た円筒
３１４の関係（これを関係「３１−上−Ｂ」とする）
は、図３３の表のようになる。関係「３１−上−Ａ」で
は、ユーザの視野から見た画像と、画像の視野が重なっ
ているが、関係「３１−上−Ｂ」では、重なりがないの
で、画像３１３が選択される。一方、円筒を３１７のよ
うにした場合は、各々の関係が図３３の表中における関
係「３１−下−Ａ」および関係「３１−下−Ｂ」のよう
になり、画像３１６が選択される。もし、撮影対象物ま
での距離がわからないとしたときは、最初に半径を３１
７になるように設定すると、画像３１６が選ばれてしま
う。この結果、ユーザは身近にある撮影対象物３１８を
撮影した映像３１３が欲しかったとしても、画像３１３
は選択されなくなってしまう。このような問題を防ぐた
めに、画像までの距離を一緒に測定しておき、ユーザの
視点位置に近いところにある画像に円筒を位置付ける。FIGS. 32 and 33 explain how to determine the radius of the cylinder when the distance to the image is known. In FIG. 32, 311 is the field of view of the user, 312, 315 is the field of view of the image, 313, 316 is the position of the image, 314, 317 are the cylinders, 308, 309 are the cylinders visible from the field of view of the image when the radius of the cylinder is changed. , 320 is the range of the cylinder visible from the user's field of view. If you already know the distance to the image,
Change the size of the cylinder for each image like 314 and 317,
For each of them, as shown in the table of FIG. 33, the size viewed from the user's visual field and the size viewed from the image visual field are compared. As a result, the one having the visual field of the image closest to the visual field of the user is selected. For example, when trying to view an image of the object 318, the cylinder is set as 314. The cylinder 3 seen from the user's field of view at this time
14 and the cylinder 314 viewed from the visual field 312 of the image (this is referred to as a relationship “31-up-A”), and the relationship between the cylinder 314 viewed from the visual field of the user and the cylinder 314 viewed from the visual field 315 of the image ( This is referred to as the relationship “31-up-B”)
Is as shown in the table of FIG. In the relationship “31-up-A”, the image viewed from the user's field of view and the view of the image overlap, but in the relationship “31-up-B”, there is no overlap, so the image 313 is selected. On the other hand, when the cylinder is set to 317, the respective relationships become the relationship “31-lower-A” and the relationship “31-lower-B” in the table of FIG. 33, and the image 316 is selected. . If you don't know the distance to the subject, first set the radius to 31
If it is set to 7, the image 316 will be selected. As a result, even if the user wants the video 313 obtained by photographing the photographing target 318 that is close to him, the image 313 is displayed.
Will no longer be selected. In order to prevent such a problem, the distance to the image is measured together, and the cylinder is positioned in the image near the user's viewpoint position.

【００６７】（実施の形態５）図３４は、実施の形態５
における仮想空間生成装置のブロック構成図の前半を示
している。後半は図３６に示してある。図３２におい
て、３２１は同期信号発生手段、３２２は角度測定手
段、３２３は角度記録手段、３２４は画像入力手段、３
２５は画像記録手段、３２６は入力画像記録手段、３２
７は画像選択手段、３２８は画像結合手段、３２９は結
合画像記録手段である。また、本発明の実施の形態５の
具体的な機器構成の例について、図３５から図３７を用
いて説明する。図３５は、本装置の画像入力手段および
角度測定手段を示している。図３５において３３１はビ
デオカメラ、３３２は角度入力手段で一般的にはジャイ
ロセンサー、３３３はビデオの音声入力端子、３３４は
デジタルビデオカセット（ＤＶＣ）、３３５はパソコ
ン、３３６は同期信号発生手段、３３７は角度情報記録
手段である。(Fifth Embodiment) FIG. 34 shows a fifth embodiment.
3 shows the first half of the block diagram of the virtual space generation device in FIG. The latter half is shown in FIG. In FIG. 32, 321 is a synchronizing signal generating means, 322 is an angle measuring means, 323 is an angle recording means, 324 is an image input means, 3
25 is an image recording means, 326 is an input image recording means, 32
Reference numeral 7 is an image selecting means, 328 is an image combining means, and 329 is a combined image recording means. Moreover, an example of a specific device configuration according to the fifth embodiment of the present invention will be described with reference to FIGS. 35 to 37. FIG. 35 shows the image inputting means and the angle measuring means of this apparatus. In FIG. 35, 331 is a video camera, 332 is an angle input means, generally a gyro sensor, 333 is a video audio input terminal, 334 is a digital video cassette (DVC), 335 is a personal computer, 336 is a sync signal generation means, 337. Is an angle information recording means.

【００６８】この装置を使用した場合は、図１３に示し
たように、第１の視点１２３および第２の視点１２４に
おいて周囲の撮影を行なう。ただし、この場合は撮影し
ながらの移動は行わないで、ある地点を中心としてその
周囲を撮影した後、次の位置に移動する。これは例え
ば、カメラを三脚に固定したりして行なう。この時、図
３５に示したようにビデオカメラ３３１と角度入力手段
３３２が一体になっているので、角度入力手段３３２に
よってビデオカメラ３３１の向きが測定される。角度入
力手段３３２で測定された角度情報はパソコンの角度情
報記録手段３３７に記録される。一方、パソコン３３５
からは同期信号発生手段３３６によって同期信号が発生
されており、この同期信号はビデオカメラ３３１の音声
入力端子３３３を通じてデジタルビデオカメラ３３１の
ビデオカセット２４に画像情報とともに記録される。When this apparatus is used, surroundings are photographed at the first viewpoint 123 and the second viewpoint 124, as shown in FIG. However, in this case, the movement is not performed while taking a picture, but after taking a picture of the surroundings around a certain point, the movement is made to the next position. This is done, for example, by fixing the camera to a tripod. At this time, since the video camera 331 and the angle input means 332 are integrated as shown in FIG. 35, the angle input means 332 measures the orientation of the video camera 331. The angle information measured by the angle input means 332 is recorded in the angle information recording means 337 of the personal computer. On the other hand, PC 335
A synchronizing signal is generated by the synchronizing signal generating means 336 from the above, and this synchronizing signal is recorded together with image information in the video cassette 24 of the digital video camera 331 through the audio input terminal 333 of the video camera 331.

【００６９】図３６はこの装置を用いて、パノラマ画像
を作成する様子を示している。図３６において、３４１
は角度画像配列、３４２、３４３は選択された画像、３
４４は円、３４５は円の中心を表わしている。図３５で
示したように、角度情報と画像情報は同期信号と共に記
録されるので、図３６に示すように同じ時間に記録され
た画像と角度の配列を作成することが可能である。ま
た、画像はある地点の周囲をぐるりと一回りして撮影さ
れるので、角度情報は０から３６０度の範囲である。そ
こで、例えば、角度を４５度おきにして画像を選択して
くれば、図３６に示すように、中心３４５の周りの演習
上に８枚の画像を並べることができる。この８枚の画像
をつなぎあわせればパノラマ画像を作成することができ
る。FIG. 36 shows how a panoramic image is created using this apparatus. In FIG. 36, 341
Is an angle image array, 342 and 343 are selected images, 3
44 is a circle and 345 is the center of the circle. Since the angle information and the image information are recorded together with the synchronization signal as shown in FIG. 35, it is possible to create an array of images and angles recorded at the same time as shown in FIG. Further, since the image is taken around the circumference of a certain point, the angle information is in the range of 0 to 360 degrees. Therefore, for example, if images are selected at an angle of 45 degrees, eight images can be arranged on the exercise around the center 345 as shown in FIG. 36. A panoramic image can be created by joining these eight images together.

【００７０】図３７は、入力情報記録手段３２６と画像
選択手段３２７の動作を説明したものである。図３７に
おいて、３５１は角度情報、３５２は画像、３５３は同
期信号、３５４は画像配列、３５５は配列生成手段、３
５６はカウンター、３５７は比較手段、３５８は画像と
りだし手段である。他は図３４と同じである。角度記録
手段３２３と画像記録手段３２５には、角度または画像
と同期信号が組になって記録されている。そこで、入力
情報記録手段３２６には、角度情報あるいは画像情報と
同期信号の組が３５１や３５２の様に入力される。配列
生成手段は、これらの組を調べ、同期信号の等しいもの
を組にして、画像配列３５４を生成する。画像選択手段
３２７では、カウンター３５６がたとえば、０、４５、
・・・３１５といった等間隔の数を出力する。比較手段
３５７はこの数と、画像配列３５４の角度を比較して等
しいものを調べる。画像取り出し手段３５８はこの等し
い画像を画像配列３５４から取り出して、画像結合手段
３２９に渡す。画像結合手段３２９は、パノラマ画像を
生成する。この方式は、たとえば、アップル社のＱｕｉ
ｃｋＴｉｍｅＶＲの技術を使用することが可能である("
QuickTimeVR-AnImage-Based Approach to Virtual Envi
ronment Navigation",Shenchang EricChen, Apple Comp
uter, Inc. Computer Graphics Proceedings, AnnualCo
nfrence Series, 1995, ACM-0-89791-701-4/95/008）。
結合画像記録手段３２９には、このようにして作成され
た複数枚の結合画像が記録される。FIG. 37 illustrates the operation of the input information recording means 326 and the image selection means 327. In FIG. 37, 351 is angle information, 352 is an image, 353 is a synchronization signal, 354 is an image array, 355 is an array generation means, 3
Reference numeral 56 is a counter, 357 is a comparing means, and 358 is an image extracting means. Others are the same as those in FIG. 34. The angle recording means 323 and the image recording means 325 record the angle or the image and the synchronization signal as a set. Therefore, a set of angle information or image information and a synchronization signal is input to the input information recording means 326 as indicated by 351 and 352. The array generation means examines these groups and sets those having the same synchronization signal as a group to generate the image array 354. In the image selection means 327, the counter 356 is, for example, 0, 45,
Outputs the number of equal intervals such as 315. The comparison means 357 compares this number with the angle of the image array 354 and checks for equality. The image fetching means 358 fetches this same image from the image array 354 and passes it to the image combining means 329. The image combining unit 329 generates a panoramic image. This method is, for example, Qui
It is possible to use ckTimeVR technology ("
QuickTimeVR-AnImage-Based Approach to Virtual Envi
ronment Navigation ", Shenchang EricChen, Apple Comp
uter, Inc. Computer Graphics Proceedings, AnnualCo
nfrence Series, 1995, ACM-0-89791-701-4 / 95/008).
The combined image recording means 329 records a plurality of combined images thus created.

【００７１】（実施の形態６）図３８は本発明の第６の
実施の形態におけるブロック構成図を示している。図３
８において、３２９は結合画像記録手段、３６１は画像
表示手段、３６３は対応点指示手段、３６３は仮想平面
生成手段、３６５は仮想平面記録手段、３６６はイメー
ジ画像張り付け手段、３６７は画像表示手段である。以
下、図３９から図４６にしたがって、本発明の実施の形
態６の動作について説明する。(Sixth Embodiment) FIG. 38 shows a block diagram of a sixth embodiment of the present invention. Figure 3
In Numeral 8, 329 is a combined image recording means, 361 is an image display means, 363 is a corresponding point designating means, 363 is a virtual plane generating means, 365 is a virtual plane recording means, 366 is an image image pasting means, 367 is an image display means. is there. The operation of the sixth embodiment of the present invention will be described below with reference to FIGS. 39 to 46.

【００７２】図３９は画像表示手段７２および対応点指
示手段３６３の動作を示している。図３９において、３
７１は画像表示手段、３７５および３７６は画像を左右
にスライドさせるボタン、３７１および３７２は結合画
像が表示されている画面、３７３および３７４は対応
点、３７８は対応点を指示しやすくする水平の直線、３
７７は対応点指示手段のマウスである。結合画像が表示
される画面３７１および３７２には、図１３の第１の撮
影地点１２３および第２の撮影地点１２４で撮影しパノ
ラマ画像として結合された、結合画像が表示される。ボ
タン３７５または３７６を押すと、画面３７１または３
７２に表示された画像が左右にスクロールする。画面３
７１と画面３７２に表示されている同じ物体３７３およ
び３７４を、マウス３７７を操作することによって指示
する。対応点は水平線３７８に乗っていないこともあ
る。ある地点の水平線について選択がすめば、水平線を
ずらして同じ操作を繰り返す。このようにして、結合画
像の全体に渡って対応点を指示していく。対応点の指示
の個数は、生成する仮想平面の精度に反映する。FIG. 39 shows the operations of the image display means 72 and the corresponding point designating means 363. In FIG. 39, 3
Reference numeral 71 is an image display means, 375 and 376 are buttons for sliding the image to the left and right, 371 and 372 are screens on which a combined image is displayed, 373 and 374 are corresponding points, and 378 is a horizontal straight line that makes it easy to indicate the corresponding points. Three
Reference numeral 77 is a mouse of corresponding point designating means. On the screens 371 and 372 where the combined image is displayed, the combined image captured at the first shooting point 123 and the second shooting point 124 in FIG. 13 and combined as a panoramic image is displayed. When button 375 or 376 is pressed, screen 371 or 3
The image displayed at 72 scrolls left and right. Screen 3
71 and the same objects 373 and 374 displayed on the screen 372 are designated by operating the mouse 377. The corresponding points may not be on the horizontal line 378. If you have made a choice about the horizon at a certain point, shift the horizon and repeat the same operation. In this way, corresponding points are designated over the entire combined image. The number of corresponding point designations is reflected in the accuracy of the generated virtual plane.

【００７３】図４０および図４１は仮想平面の作成法に
ついて、さらに詳しく説明したものである。図４０にお
いて、３８１は結合画像、３８３は結合画像の一部、３
８５は表示画面、３８７は三角形に分割された面を表わ
している。また、図４１において、３８２は結合画像、
３８４は結合画像の一部、３８６は表示画面、３８８は
三角形に分割された面を表わしている。図４０および図
４１において、画面３８５および画面３８６に表示され
ている画像は、結合画像３８１および３８２の一部３８
３および３８４である。表示されている部分は、ボタン
３７５および３７６の操作によって左右に移動する。図
３９のような方法で、画面３７１および画面３７２で対
応点を指示していくと、画面３８５および３８６に示す
ように対応点が増えていく。図４０および図４１中、丸
の中の模様が同じものが対応点である。そして、これら
の対応点を、例えばドロネー三角形のアルゴリズムで三
角形に分割する。ドロネー三角形のアルゴリズムは、平
面上に多くの点が存在したとき、これを各々の三角形が
なるべく正三角形に近くなるように三角形分割するもの
である。FIG. 40 and FIG. 41 explain the method of creating a virtual plane in more detail. In FIG. 40, 381 is a combined image, 383 is a part of the combined image, 3
Reference numeral 85 represents a display screen, and 387 represents a surface divided into triangles. Further, in FIG. 41, 382 is a combined image,
384 is a part of the combined image, 386 is a display screen, and 388 is a surface divided into triangles. 40 and 41, the images displayed on the screen 385 and the screen 386 are the part 38 of the combined images 381 and 382.
3 and 384. The displayed portion is moved left and right by operating the buttons 375 and 376. When the corresponding points are designated on the screen 371 and the screen 372 by the method as shown in FIG. 39, the corresponding points increase as shown on the screens 385 and 386. In FIG. 40 and FIG. 41, the points having the same pattern in the circle are corresponding points. Then, these corresponding points are divided into triangles by, for example, the Delaunay triangle algorithm. The Delaunay triangle algorithm divides many points on a plane so that each triangle is as close to an equilateral triangle as possible.

【００７４】図４２、図４３、図４４は、指定された対
応点から仮想平面を立体的に構成する方法について説明
したものである。これらの図において、図４０２は結合
画像および部分画像を表す図４０、および図４１と同様
の図である。図４３は結合画像を第１の視点および第２
の視点から撮影した画像を張り合わせた円筒画面を真上
から見た図である。図４４は結合画像を第１の視点およ
び第２の視点から撮影した画像を張り合わせた円筒画面
により仮想平面を立体的に生成する状態を真上から見た
図である。これらの図において、４００および４０１は
第１の視点および第２の視点、３９８および３９９は第
１の視点４００および第２の視点４０１を包む円筒、３
９４および３９５は円筒の一部、３９２、３９３は第１
の視点４００および第２の視点４０１から見た対応点、
４０３は対応点３９２、３９３の相対的な位置、３９６
は第１の視点４００から見た対応点４０３の角度、３９
７は第２の視点４０１から見た対応点４０３の角度、４
０２は作成された仮想平面を示している。また、結合画
像３８１および３８２は第１の視点４００および第２の
視点４０１から撮影した画像を張り合わせたものである
が、これを真上から見たものが、３９８および３９９の
円筒である。例えば、結合画像３８１は視点４００から
見ると、円筒３９８に張り付けられていると考える。部
分画像３８３および３８４は、３９２および３９５に対
応している。部分画像３８３および３８４で対応点３９
１を指示すると、円筒上ではそれぞれ３９２および３９
３に対応することになる。このとき、３９２および３９
３は第１の視点４００および第２の視点４０１から見る
と角度３９６および３９７である。そこで、第１の視点
４００と点３９２をつないだ線を延長した直線と、第２
の視点４０１と点３９３を結んだ直線延長した直線とが
交わる点４０３に対応点は存在することになる。なお、
ここで例えば第１の視点４００と点４０３の実際の距離
は不明で、三角形４００、４０１、４０３の相似形がも
とまる事になる。便宜的に４００と４０１の距離を１と
しておく。このようにして各対応点に関してその位置を
求めていくと、４０２のような仮想平面の形を求める事
ができる。図３８に示したように、結合画像３８１およ
び３８２を三角形に分割しておけば、仮想平面を多面体
として求めることができる。42, 43, and 44 illustrate a method of constructing a virtual plane three-dimensionally from designated corresponding points. In these figures, FIG. 402 is a view similar to FIGS. 40 and 41 showing the combined image and the partial image. FIG. 43 shows the combined image as a first viewpoint and a second viewpoint.
FIG. 3 is a diagram of a cylindrical screen obtained by pasting images taken from the viewpoint of FIG. FIG. 44 is a top view of a state in which a virtual plane is three-dimensionally generated by a cylindrical screen in which images obtained by shooting a combined image from the first viewpoint and the second viewpoint are attached to each other. In these figures, 400 and 401 are first and second viewpoints, 398 and 399 are cylinders surrounding the first viewpoint 400 and the second viewpoint 401, and 3 and 3, respectively.
94 and 395 are part of the cylinder, and 392 and 393 are the first.
Corresponding points viewed from the viewpoint 400 and the second viewpoint 401,
403 is the relative position of the corresponding points 392 and 393, 396
Is the angle of the corresponding point 403 from the first viewpoint 400, 39
7 is the angle of the corresponding point 403 viewed from the second viewpoint 401, 4
Reference numeral 02 indicates the created virtual plane. Further, the combined images 381 and 382 are obtained by combining the images captured from the first viewpoint 400 and the second viewpoint 401, and the cylinders 398 and 399 are seen from directly above. For example, it is considered that the combined image 381 is attached to the cylinder 398 when viewed from the viewpoint 400. The partial images 383 and 384 correspond to 392 and 395. Corresponding points 39 in the partial images 383 and 384
1 indicates 392 and 39 on the cylinder, respectively.
It corresponds to 3. Then 392 and 39
3 is angles 396 and 397 when viewed from the first viewpoint 400 and the second viewpoint 401. Therefore, a line obtained by extending the line connecting the first viewpoint 400 and the point 392 and the second line
A corresponding point exists at a point 403 at which the viewpoint 401 and a straight line extending from the point 393 intersect. In addition,
Here, for example, the actual distance between the first viewpoint 400 and the point 403 is unknown, and the similar shapes of the triangles 400, 401, and 403 are obtained. For convenience, the distance between 400 and 401 is set to 1. By thus obtaining the position of each corresponding point, the shape of the virtual plane such as 402 can be obtained. As shown in FIG. 38, if the combined images 381 and 382 are divided into triangles, the virtual plane can be obtained as a polyhedron.

【００７５】図４５は、このようにして求めた仮想平面
を輪切りにして見たものである。図４６は、こうしてで
きる仮想平面を第１の視点４００や第２の視点４０１以
外から見た画像を表示する方法について説明したもので
ある。図４６において、４１１は仮想平面、４１３は新
たな視点、４１２２は新たな視点１２５から見た画像で
ある。仮想平面４１１には、第１の視点４００または第
２の視点４０１から撮影した画像が張り付けられてい
る。そこで、新たな視点４１３からこの仮想平面４１１
をみれば、視点４１３から見た画像４１２が得られる。
以上のようにして、任意の視点から見た画像を作成する
ことが可能である。FIG. 45 is a view obtained by cutting the virtual plane obtained in this manner into slices. FIG. 46 illustrates a method of displaying an image of a virtual plane formed in this manner viewed from a point other than the first viewpoint 400 and the second viewpoint 401. In FIG. 46, 411 is a virtual plane, 413 is a new viewpoint, and 4122 is an image viewed from a new viewpoint 125. An image captured from the first viewpoint 400 or the second viewpoint 401 is attached to the virtual plane 411. Therefore, from the new viewpoint 413, this virtual plane 411
, An image 412 viewed from the viewpoint 413 is obtained.
As described above, it is possible to create an image viewed from an arbitrary viewpoint.

【００７６】[0076]

【発明の効果】以上説明したように本発明によれば、仮
想空間生成装置に、第１に画像を入力する画像入力手段
と、前記画像入力手段の向いている角度を測定する角度
測定手段と、前記画像入力手段の位置を測定する位置測
定手段と、前記画像と前記画像の前記位置と前記角度と
を記録する構造化データ記録手段と、視点を入力する視
点入力手段と、前記視点の位置を包む立体を作成し、前
記視点から見える範囲の前記立体上の領域１を計算し、
また前記構造化データ記録手段に記録された前記画像毎
に対応する位置と角度から求められる視野から見える範
囲の前記立体上の領域２を計算し、前記領域１に対する
前記領域２の重なる比率の最も大きい前記画像を選択す
る画像選択手段とから構成したため、画像を入力すると
同時に画像を入力した方向を測定することができ、ユー
ザが見たい視線の方向を入力するだけでその方向に最も
近い画像を選択することができる。また、画像入力手段
から入力された様々な位置で入力された複数の画像の中
から、視点入力手段から入力された視点位置に最も近い
画像を選択することができる。As described above, according to the present invention, the virtual space generation device is provided with the image input means for inputting an image first and the angle measuring means for measuring the angle at which the image input means faces. Position measuring means for measuring the position of the image input means, structured data recording means for recording the image and the position and angle of the image, viewpoint input means for inputting a viewpoint, and position of the viewpoint Create a solid that wraps around, calculate the region 1 on the solid that is visible from the viewpoint,
Further, a range visible from the visual field obtained from the position and angle corresponding to each of the images recorded in the structured data recording means.
Since it is composed of the image selecting means for calculating the region 2 on the three-dimensional enclosure and selecting the image having the largest overlapping ratio of the region 2 with respect to the region 1, the image input direction is measured at the same time when the image is input. It is possible to select the image closest to the direction of the line of sight that the user wants to see. Further, the image closest to the viewpoint position input from the viewpoint input unit can be selected from the plurality of images input at various positions input from the image input unit.

【００７７】[0077]

【００７８】第２に、上記第１の構成に加えて、画像入
力手段は、画像の拡大率を入力する拡大率入力手段を有
し、また、構造化データ記録手段は、画像と前記画像の
位置と角度と拡大率とを記録するようにしたため、拡大
率を変化させながら画像を入力しても、視点入力手段か
ら入力された視点に最も近い画像を選択することができ
る。[0078] Second, in addition to the first configuration, the image input means includes a magnification input means for inputting a magnification of the image, also, structured data recording means, image and of the image
Since the position, the angle, and the enlargement ratio are recorded, even if the image is input while changing the enlargement ratio, the image closest to the viewpoint input from the viewpoint input means can be selected.

【００７９】第３に、第２の構成に加えて、画像入力手
段は、画像の対象物から前記画像入力手段までの距離を
測定する距離測定手段を有し、また、画像選択手段は、
距離測定手段で測定された距離に合わせて画像選択手段
の生成する立体の大きさを構造化データ記録手段に記録
された画像毎に決定し、画像毎に決定された前記立体を
視点入力手段から入力された視点から見た場合に見える
範囲の前記立体上の領域１と、前記構造化データ記録手
段に記録された位置と角度と拡大率によって決定される
視点から見た場合に見える範囲の前記立体上の領域２を
前記構造化データ記録手段に記録された画像毎に計算
し、前記領域１と前記領域２の重なる割合が最も大きな
前記画像を選択するようにしたため、視点入力手段の入
力した視点位置に最も近い場所から、画像入力手段によ
って入力された画像を選択することができる。Thirdly, in addition to the second configuration, the image input means has a distance measuring means for measuring the distance from the object of the image to the image input means, and the image selecting means,
The size of the solid body generated by the image selecting means is determined for each image recorded in the structured data recording means in accordance with the distance measured by the distance measuring means, and the solid body determined for each image from the viewpoint input means. look when viewed from the input point of view
The three-dimensional region 1 of the range and the three-dimensional region 2 of the range that can be seen from the viewpoint determined by the position, the angle, and the enlargement ratio recorded in the structured data recording unit are the structured data. Since the image is calculated for each image recorded in the recording means and the image in which the area 1 and the area 2 are overlapped with each other is selected the image input from the position closest to the viewpoint position input by the viewpoint input means. The image input by the means can be selected.

【００８０】[0080]

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の第１の実施の形態に係る仮想空間生成
装置のブロック構成図FIG. 1 is a block configuration diagram of a virtual space generation device according to a first exemplary embodiment of the present invention.

【図２】前記第１の実施の形態に係る仮想空間生成装置
を具体的な機器構成の例によって解説するブロック図FIG. 2 is a block diagram illustrating the virtual space generation device according to the first embodiment by an example of a specific device configuration.

【図３】前記第１の実施の形態に係る仮想空間生成装置
の中の入力情報記録手段の部分をより詳細に示した要部
ブロック図FIG. 3 is a principal block diagram showing in more detail a portion of an input information recording unit in the virtual space generation device according to the first embodiment.

【図４】前記第１の実施の形態に係る仮想空間生成装置
の中の構造化データ記録手段の部分をより詳細に示した
要部ブロック図FIG. 4 is a principal block diagram showing in more detail a structured data recording unit in the virtual space generation device according to the first embodiment.

【図５】前記第１の実施の形態に係る仮想空間生成装置
の中の画像選択手段の部分をより詳細に示した要部ブロ
ック図画像選択手段FIG. 5 is a main block diagram image selecting unit showing in more detail the image selecting unit in the virtual space generation device according to the first embodiment.

【図６】前記第１の実施の形態において、ビデオカメラ
を用いて撮影対象物である立木を撮影するに際し、ビデ
オカメラを１地点に設置して撮影角度を変えながら撮影
する状態を示す図FIG. 6 is a diagram showing a state in which a video camera is installed at one point and shooting is performed while changing a shooting angle when shooting a standing tree which is a shooting target using the video camera in the first embodiment.

【図７】前記第１の実施の形態において、図６のように
ビデオカメラを１地点に設置して撮影角度を変えながら
撮影する場合に得られる画像を示す図FIG. 7 is a diagram showing an image obtained when a video camera is installed at one point and shooting is performed while changing a shooting angle as shown in FIG. 6 in the first embodiment.

【図８】前記第１の実施の形態において、ビデオカメラ
で撮影して得られた画像の視点と視野角などの関係をモ
デル化して示した図FIG. 8 is a diagram showing a modeled relationship between a viewpoint and a viewing angle of an image obtained by shooting with a video camera in the first embodiment.

【図９】前記第１の実施の形態において、撮影対象物を
様々な視点から撮影した様子を示す図FIG. 9 is a diagram showing a state in which an object to be imaged is imaged from various viewpoints in the first embodiment.

【図１０】本発明の第２の実施の形態に係る仮想空間生
成装置のブロック構成図FIG. 10 is a block configuration diagram of a virtual space generation device according to a second exemplary embodiment of the present invention.

【図１１】前記第２の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図FIG. 11 is a block diagram illustrating the virtual space generation device according to the second embodiment by an example of a specific device configuration.

【図１２】前記第２の実施の形態に係る仮想空間生成装
置の中の構造化データ記録手段の部分をより詳細に示し
た要部ブロック図FIG. 12 is a principal block diagram showing in more detail a structured data recording unit in the virtual space generation device according to the second embodiment.

【図１３】前記第２の実施の形態において、画像入力装
置であるビデオカメラを用いて撮影対象物である立木を
撮影するにあたり、一台のビデオカメラを２地点に移動
させ、且つ撮影角度を変えながら撮影する状態を示す図FIG. 13 is a diagram showing a case where a video camera, which is an image input device, is used to shoot a standing tree which is a shooting target in the second embodiment, one video camera is moved to two points, and a shooting angle is set. Figure showing the state of shooting while changing

【図１４】前記第２の実施の形態において、図１３に示
すようにビデオカメラを位置を変え且つ撮影角度を変え
ながら撮影した場合に得られる画像の視野および視点を
表す図FIG. 14 is a diagram showing a visual field and a viewpoint of an image obtained when the video camera is photographed while changing the position and the photographing angle as shown in FIG. 13 in the second embodiment.

【図１５】前記第２の実施の形態において、撮影した画
像を選択するための手順を説明する図FIG. 15 is a diagram illustrating a procedure for selecting a captured image in the second embodiment.

【図１６】前記第２の実施の形態において、撮影対象物
に対する画像の視点と、ユーザの視点の対応を示す図FIG. 16 is a diagram showing correspondence between a viewpoint of an image with respect to an object to be photographed and a viewpoint of a user in the second embodiment.

【図１７】前記第２の実施の形態において、ユーザの視
野の方が画像の視野より後ろにある場合における、撮影
対象物を撮影した画像と、ユーザの視点などの関係を示
す図FIG. 17 is a diagram showing a relationship between an image of an object to be photographed and a user's viewpoint when the user's field of view is behind the image field of view in the second embodiment.

【図１８】前記第２の実施の形態において、図１７とは
逆にユーザの視野の方が画像の視野より後ろにある場合
における、撮影対象物を撮影した画像と、ユーザの視点
などの関係を示す図FIG. 18 is a diagram showing a relationship between an image of an image-captured object and a user's viewpoint when the user's field of view is behind the image field of view in contrast to FIG. 17, in the second embodiment. Showing

【図１９】前記第２の実施の形態において、ユーザの視
野と画像の視野がずれている場合における、撮影対象物
を撮影した画像と、ユーザの視点などの関係を示す図FIG. 19 is a diagram showing a relationship between an image of an image-captured object and a user's viewpoint when the user's field of view and the image's field of view are different from each other in the second embodiment.

【図２０】（ａ）前記第２の実施の形態において、円筒
の半径を変えながら円筒に画像を投影し、その投影像を
ユーザの視野から見る場合における画像の可視、不可視
の具合を、同心円のうち内側の円を対象に検討する図 （ｂ）前記第２の実施の形態において、円筒の半径を変
えながら円筒に画像を投影し、その投影像をユーザの視
野から見る場合における画像の可視、不可視の具合を、
同心円のうち外側の円を対象に検討する図(A) In the second embodiment, the concentric circles are used to determine whether images are visible or invisible when an image is projected onto the cylinder while changing the radius of the cylinder and the projected image is viewed from the user's visual field. (B) In the second embodiment, the image is projected on the cylinder while changing the radius of the cylinder, and the image is visible when the projected image is viewed from the user's visual field. , Invisible,
Diagram that considers the outer circle of the concentric circles

【図２１】（ａ）前記第２の実施の形態において、円筒
の半径を変えながら円筒に画像を投影し、その投影像を
ユーザの視野から見る場合における画像の可視、不可視
の具合を、ユーザの視野と画像の視野がまったく重なら
ない場合について検討する図 （ｂ）前記第２の実施の形態において、実際の撮影対象
物の位置と画像の視野、ユーザの視野の関係を説明する
図(A) In the second embodiment, the image is projected on a cylinder while changing the radius of the cylinder, and the visible / invisible state of the image when the projected image is viewed from the user's field of view is indicated by the user. (B) A diagram for explaining the relationship between the actual position of the object to be photographed, the visual field of the image, and the visual field of the user in the second embodiment.

【図２２】前記第２の実施の形態において、ユーザの視
野、画像の視野および投影する円筒などの関係を示す図FIG. 22 is a diagram showing a relationship among a field of view of a user, a field of view of an image, a projected cylinder, and the like in the second embodiment.

【図２３】前記第２の実施の形態において、図２２に示
す関係においてユーザの視野から円筒の画像が見える範
囲と、画像の視野から見える円筒の範囲の関係を示す図FIG. 23 is a diagram showing a relationship between a range in which a cylindrical image can be seen from the user's field of view and a range of a cylindrical seen from an image field of view in the relationship shown in FIG. 22 in the second embodiment.

【図２４】前記第２の実施の形態において、円筒上にお
けるユーザの視野、画像の視野および投影する円筒など
の関係から画像選択を行なう動作の処理手順を説明する
フロー図FIG. 24 is a flow chart illustrating a processing procedure of an operation for selecting an image based on the relationship between the user's visual field on the cylinder, the visual field of the image, the projected cylinder, and the like in the second embodiment.

【図２５】本発明の第３の実施の形態に係る仮想空間生
成装置のブロック構成図FIG. 25 is a block configuration diagram of a virtual space generation device according to a third embodiment of the present invention.

【図２６】前記第３の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図FIG. 26 is a block diagram illustrating a virtual space generation device according to the third embodiment by an example of a specific device configuration.

【図２７】前記第３の実施の形態において、ユーザの視
野の方が画像の視野より前にある場合における、撮影対
象物を撮影した画像とユーザの視点などの関係を示す図FIG. 27 is a diagram showing a relationship between an image of an image-captured object and a user's viewpoint when the user's field of view is before the image field of view in the third embodiment.

【図２８】本発明の第４の実施の形態に係る仮想空間生
成装置のブロック構成図FIG. 28 is a block configuration diagram of a virtual space generation device according to a fourth embodiment of the present invention.

【図２９】前記第４の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図FIG. 29 is a block diagram for explaining the virtual space generation device according to the fourth embodiment with an example of a specific device configuration.

【図３０】前記第４の実施の形態において、ビデオカメ
ラで撮影して得られた画像の視点と視野角などの関係を
モデル化して示した図FIG. 30 is a diagram showing a modeled relationship between a viewpoint and a viewing angle of an image obtained by shooting with a video camera in the fourth embodiment.

【図３１】前記第４の実施の形態において、撮影対象物
に対する画像の視点と、ユーザの視点の対応を示す図FIG. 31 is a diagram showing correspondence between a viewpoint of an image with respect to an object to be photographed and a viewpoint of a user in the fourth embodiment.

【図３２】前記第４の実施の形態において、画像までの
距離がわかっている場合の、画像の視野および投影する
円筒などの関係から円筒の半径の決め方について説明す
る図FIG. 32 is a diagram illustrating how to determine the radius of a cylinder in the fourth embodiment when the distance to the image is known, from the relationship between the field of view of the image and the cylinder to be projected.

【図３３】前記第４の実施の形態において、図３３に示
す、画像までの距離がわかっている場合の円筒の半径の
決め方を表にして説明する図FIG. 33 is a table for explaining how to determine the radius of the cylinder when the distance to the image is known, which is shown in FIG. 33, in the fourth embodiment.

【図３４】本発明の第５の実施の形態に係る仮想空間生
成装置のブロック構成図FIG. 34 is a block configuration diagram of a virtual space generation device according to a fifth embodiment of the present invention.

【図３５】前記第５の実施の形態に係る仮想空間生成装
置を具体的な機器構成の例によって解説するブロック図FIG. 35 is a block diagram for explaining the virtual space generation device according to the fifth embodiment with an example of a specific device configuration.

【図３６】前記第５の実施の形態に係る仮想空間生成装
置を用いて、パノラマ画像を作成する様子を示す図FIG. 36 is a diagram showing how a panoramic image is created by using the virtual space creation device according to the fifth embodiment.

【図３７】前記第５の実施の形態において、入力情報記
録手段と画像選択手段の動作を説明する図。FIG. 37 is a diagram for explaining the operation of the input information recording means and the image selecting means in the fifth embodiment.

【図３８】本発明の第６の実施の形態に係る仮想空間生
成装置のブロック構成図FIG. 38 is a block configuration diagram of a virtual space generation device according to a sixth embodiment of the present invention.

【図３９】前記第６の実施の形態において、画像表示手
段および対応点指示手段の動作を示す図FIG. 39 is a diagram showing operations of the image display means and the corresponding point designating means in the sixth embodiment.

【図４０】前記第６の実施の形態において、対応点をド
ロネー三角形のアルゴリズムで三角形に分割することに
よる仮想平面の作成法について説明する図FIG. 40 is a diagram illustrating a method of creating a virtual plane by dividing corresponding points into triangles by the Delaunay triangle algorithm in the sixth embodiment.

【図４１】前記第６の実施の形態において、対応点をド
ロネー三角形のアルゴリズムで三角形に分割し、且つド
ロネー三角形のアルゴリズムによる複数の三角形のそれ
ぞれがなるべく正三角形に近くなるように三角形分割す
ることによる仮想平面の作成法について説明する図41. In the sixth embodiment, the corresponding points are divided into triangles by the Delaunay triangle algorithm, and each of the plurality of triangles by the Delaunay triangle algorithm is divided into triangles so that they are as close to equilateral triangles as possible. Diagram explaining how to create a virtual plane by using

【図４２】前記第６の実施の形態において、指定された
対応点から仮想平面を立体的に構成するのに用いられ
る、結合画像および部分画像を表す図42A and 42B are views showing a combined image and a partial image used for constructing a virtual plane three-dimensionally from designated corresponding points in the sixth embodiment.

【図４３】前記第６の実施の形態において、図４０２の
結合画像を第１の視点および第２の視点から撮影した画
像を張り合わせた円筒画面を真上から見た図FIG. 43 is a diagram of a cylindrical screen in which images obtained by shooting the combined image of FIG. 402 from the first viewpoint and the second viewpoint are pasted together, and viewed from directly above in the sixth embodiment.

【図４４】前記第６の実施の形態において、 図４０２
の結合画像を第１の視点および第２の視点から撮影した
画像を張り合わせた円筒画面により仮想平面を立体的に
生成する状態を真上から見た図FIG. 44 is the same as the sixth embodiment.
A view from above of a state in which a virtual plane is three-dimensionally generated by a cylindrical screen in which images obtained by photographing the combined image of the above are taken from the first viewpoint and the second viewpoint.

【図４５】前記第６の実施の形態において、求めた仮想
平面を輪切りにして見た図FIG. 45 is a diagram obtained by cutting the obtained virtual plane into slices in the sixth embodiment.

【図４６】前記第６の実施の形態において、求めた仮想
平面を第１の視点や第２の視点以外から見た画像を表示
する方法について説明する図FIG. 46 is a diagram illustrating a method of displaying an image of the obtained virtual plane viewed from a point other than the first viewpoint and the second viewpoint in the sixth embodiment.

【図４７】従来の仮想空間生成装置の一例を示すブロッ
ク構成図FIG. 47 is a block diagram showing an example of a conventional virtual space generation device.

【図４８】従来の仮想空間生成装置の動作を説明する説
明図であるFIG. 48 is an explanatory diagram illustrating an operation of a conventional virtual space generation device.

【図４９】図４８に示されている飛行機と建物の位置関
係を詳しく説明する図FIG. 49 is a diagram for explaining the positional relationship between the airplane and the building shown in FIG. 48 in detail.

【図５０】仮想的に３次元的に見せる他の従来技術とし
ての、イメージベースドレンダリングあるいは光線射影
法を用いた仮想空間生成装置のブロック構成図である[Fig. 50] Fig. 50 is a block configuration diagram of a virtual space generation device using image-based rendering or a ray projection method, as another conventional technique for virtually displaying three-dimensionally.

【図５１】前記他の従来例であるイメージベースドレン
ダリングの概念を示す図FIG. 51 is a view showing the concept of image-based rendering which is another conventional example.

【図５２】前記他の従来例であるイメージベースドレン
ダリングの手法を用いて、画像の撮影をしている様子を
示す図FIG. 52 is a diagram showing a state where an image is captured by using the image-based rendering method which is another conventional example.

【図５３】前記他の従来例であるイメージベースドレン
ダリングの手法を用いて、画像の撮影をし、仮想平面を
作成する方法を説明する図FIG. 53 is a diagram illustrating a method of capturing an image and creating a virtual plane by using the image-based rendering method which is another conventional example.

【符号の説明】[Explanation of symbols]

１ 画像入力手段 ２ 角度測定手段 ３ 入力情報記録手段 ４ 構造化データ記録手段 ５ 画像選択手段 ６ 視点入力手段 ７ 画像表示手段 1 Image input means 2 Angle measuring means 3 Input information recording means 4 Structured data recording means 5 Image selection means 6 viewpoint input means 7 Image display means

フロントページの続き (56)参考文献 特開 平６−124328（ＪＰ，Ａ) 特開 平６−215102（ＪＰ，Ａ) Ｓｈｅｎｃｈａｎｇ Ｅｒｉｃ Ｃｈ ｅｎ，”ＱｕｉｃｋＴｉｍｅ ＶＲ − Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ａｐ ｐｒｏａｃｈ ｔｏ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａ ｔｉｏｎ”，Ｃｏｍｐｕｔｅｒ Ｇｒａ ｐｈｉｃｓ Ｐｒｏｃｅｅｄｉｎｇｓ, ＡＣＭ ＳＩＧＧＲＡＰＨ，1995年, ｐ．29−38 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 5/50 G06T 11/60 - 17/50 H04N 5/262 - 5/28 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)Continuation of the front page (56) References JP-A-6-124328 (JP, A) JP-A-6-215102 (JP, A) Shenchang Eric Chen, "Quick Time VR-An Image-Based Up protoch to Virtual Virtual Environment". ", Computer Computer Graphics Proceedings, ACM SIGGRAPH, 1995, p. 29-38 (58) Fields investigated (Int.Cl. ⁷ , DB name) G06T 1/00-5/50 G06T 11/60-17/50 H04N 5/262-5/28 H04N 7/18 JISST file ( JOIS)

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 画像を入力する画像入力手段と、 前記画像入力手段の向いている角度を測定する角度測定
手段と、 前記画像入力手段の位置を測定する位置測定手段と、 前記画像と前記画像の前記位置と前記角度とを記録する
構造化データ記録手段と、 視点を入力する視点入力手段と、 前記視点の位置を包む立体を作成し、前記視点から見え
る範囲の前記立体上の領域１を計算し、また前記構造化
データ記録手段に記録された前記画像毎に対応する位置
と角度から求められる視野から見える範囲の前記立体上
の領域２を計算し、前記領域１に対する前記領域２の重
なる比率の最も大きい前記画像を選択する画像選択手段
とを備えた仮想空間生成装置。1. An image input unit for inputting an image, an angle measuring unit for measuring an angle at which the image input unit is facing, a position measuring unit for measuring a position of the image input unit, the image and the image. create the location of said angle and the structured data recording means for recording, and the viewpoint input means for inputting a viewpoint, a three-dimensional wrapping position of the viewpoint, seen from the viewpoint
The area 1 on the three-dimensional area of the area to be calculated, and the area on the three-dimensional area of the area that can be seen from the visual field obtained from the position and angle corresponding to each image recorded in the structured data recording means. A virtual space generation device comprising: an image selection unit that calculates 2 and selects the image having the largest overlapping ratio of the region 2 with respect to the region 1. 【請求項２】 請求項１に記載の仮想空間生成装置にお
いて、画像選択手段の作成する視点を包む立体は円筒
形、直方体、多面体、球、楕円のいずれかであることを
特徴とする仮想空間生成装置。2. The virtual space generation apparatus according to claim 1, wherein the solid body enclosing the viewpoint created by the image selection means is any one of a cylinder, a rectangular parallelepiped, a polyhedron, a sphere, and an ellipse. Generator. 【請求項３】 請求項２に記載の仮想空間生成装置にお
いて、画像入力手段は、画像の拡大率を入力する拡大率
入力手段を有することを特徴とする仮想空間生成装置。3. The virtual space generation device according to claim 2, wherein the image input unit has a magnification ratio input unit for inputting a magnification ratio of the image. 【請求項４】 請求項３に記載の仮想空間生成装置にお
いて、構造化データ記録手段は、画像と前記画像の位置
と角度と拡大率とを記録することを特徴とする仮想空間
生成装置。4. The virtual space generation device according to claim 3, wherein the structured data recording means records an image, a position, an angle, and a magnification of the image. 【請求項５】 請求項４に記載の仮想空間生成装置にお
いて、画像入力手段は、画像の対象物から前記画像入力
手段までの距離を測定する距離測定手段を有することを
特徴とする仮想空間生成装置。5. The virtual space generation apparatus according to claim 4, wherein the image input unit has a distance measuring unit that measures a distance from an object of an image to the image input unit. apparatus. 【請求項６】 請求項５に記載の仮想空間生成装置にお
いて、画像選択手段は、距離測定手段で測定された距離
に合わせて画像選択手段の生成する立体の大きさを構造
化データ記録手段に記録された画像毎に決定し、画像毎
に決定された前記立体を視点入力手段から入力された視
点から見た場合に見える範囲の前記立体上の領域１と、
前記構造化データ記録手段に記録された位置と角度と拡
大率によって決定される視点から見た場合に見える範囲
の前記立体上の領域２を前記構造化データ記録手段に記
録された画像毎に計算し、前記領域１と前記領域２の重
なる割合が最も大きな前記画像を選択することを特徴と
する仮想空間生成装置。6. The virtual space generation device according to claim 5, wherein the image selection means causes the structured data recording means to set the size of the solid body generated by the image selection means in accordance with the distance measured by the distance measurement means. An area 1 on the solid which is determined for each recorded image, and which is visible when the solid determined for each image is viewed from the viewpoint input from the viewpoint input means;
Range seen from the viewpoint determined by the position, angle and magnification recorded in the structured data recording means
Of the three-dimensional area 2 is calculated for each image recorded in the structured data recording means, and the image in which the overlapping ratio of the area 1 and the area 2 is the largest is selected. apparatus.