JP4339749B2 - Image generation method and image generation apparatus - Google Patents

Image generation method and image generation apparatus Download PDF

Info

Publication number
JP4339749B2
JP4339749B2 JP2004168410A JP2004168410A JP4339749B2 JP 4339749 B2 JP4339749 B2 JP 4339749B2 JP 2004168410 A JP2004168410 A JP 2004168410A JP 2004168410 A JP2004168410 A JP 2004168410A JP 4339749 B2 JP4339749 B2 JP 4339749B2
Authority
JP
Japan
Prior art keywords
image
imaging
angle
imaging means
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004168410A
Other languages
Japanese (ja)
Other versions
JP2005348307A (en
Inventor
貴史 三由
秀和 岩城
明生 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004168410A priority Critical patent/JP4339749B2/en
Publication of JP2005348307A publication Critical patent/JP2005348307A/en
Application granted granted Critical
Publication of JP4339749B2 publication Critical patent/JP4339749B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は画像生成方法および画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、仮想視点画像を生成して表示する場合に好適な画像生成方法および画像生成装置に関する。   The present invention relates to an image generation method and an image generation apparatus, and more particularly to an image generation method and an image generation apparatus suitable for generating and displaying a virtual viewpoint image based on images captured by a plurality of imaging units.

ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。   In order to display a specific area on a monitor screen for monitoring or other purposes, images obtained by photographing a wide area with multiple cameras can be divided and displayed on a single screen, or images taken every time can be displayed. The display is switched sequentially. In addition, by mounting a camera on the vehicle, using the camera directed to the rear of the vehicle, the area that the driver cannot see directly or indirectly is photographed and displayed on the monitor provided in the driver's seat, contributing to safe driving I try to let them.

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまう。また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくくなり、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、一枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。   However, since these monitoring devices display images in units of cameras, the number of installed devices increases when shooting a wide area. In addition, if a wide-angle camera is used, the number of installed devices is reduced, but the accuracy of the image displayed on the monitor is rough and the displayed image is difficult to see, and the monitoring function is degraded. For this reason, a technique has been proposed in which images from a plurality of cameras are combined and displayed as one image. For example, Patent Document 1 proposes a technique for capturing the surroundings of a vehicle with a plurality of cameras installed on the vehicle and displaying a composite image from an arbitrary viewpoint. In this method, the video output of each camera is coordinate-transformed on a two-dimensional plane viewed from the virtual viewpoint in units of pixels and expanded, and a plurality of camera images are combined into one image viewed from the virtual viewpoint and displayed on the monitor screen. It is what I did. As a result, the driver can instantly grasp what kind of object exists over the entire periphery of the vehicle from one virtual viewpoint image.

また、双曲面ミラーを用いた全方位撮像手段による撮像画像を用いて画像表示する方法がある（例えば特許文献２，特許文献３）。図６（１）に車両頂部に設置した全方位撮像手段による撮像画像を示す。図示のように結像レンズ撮像素子からなる撮像装置で、双曲面円錐ミラーを撮像することで、円周状の周囲画像を撮像することができる。そして同図（２）に示すように、撮像画像を路面と単純な円筒座標上に座標変換した画像を幾何変換して生成し、その一部を切り出してディスプレイ上に表示するように構成されている。
特許第３２８６３０６号公報 特許第２９３９０８７号公報 特開２０００−１１８２９８号公報 In addition, there is a method of displaying an image using an image captured by an omnidirectional imaging unit using a hyperboloid mirror (for example, Patent Document 2 and Patent Document 3). FIG. 6 (1) shows a captured image by the omnidirectional imaging means installed at the top of the vehicle. As shown in the drawing, an image pickup device including an imaging lens image pickup device can pick up a circular surrounding image by picking up a hyperbolic cone mirror. And as shown in the figure (2), it is comprised so that a captured image may be generated by performing geometric transformation on a road surface and simple cylindrical coordinates, and a part thereof may be cut out and displayed on a display. Yes.
Japanese Patent No. 3286306 Japanese Patent No. 2939087 JP 2000-118298 A

しかしながら特許文献１による合成画像の生成の場合、当然のことながら、カメラで撮影できない死角領域には画素データそのものがないため、このカメラ画像を用いた合成画像には、仮想視点画像の死角に相当する領域に欠落部が発生する。このため、従来の合成画像では、死角領域に対応する画素欠落部分は、周囲の点の色を用いて補間した色や、あるいは物体が存在しない部分として黒色に置き換えて画面表示している。このような置き換えによる補色が存在すると補色部分が画面上で穴の開いた表示画像となって見にくくなり、車両周囲の状況把握の際に適用した場合には安全な運転に支障を来たすなど種々の問題が生じていた。   However, in the case of generating a composite image according to Patent Document 1, naturally, there is no pixel data in a blind spot area that cannot be captured by the camera, and therefore the composite image using this camera image corresponds to the blind spot of the virtual viewpoint image. A missing part occurs in the area to be played. For this reason, in the conventional composite image, the pixel missing portion corresponding to the blind spot area is displayed on the screen by replacing it with black as a color interpolated using the colors of the surrounding points or as a portion where no object exists. If there is a complementary color due to such replacement, the complementary color part becomes a display image with a hole on the screen, making it difficult to see, and when applied when grasping the situation around the vehicle, it may interfere with safe driving, etc. There was a problem.

また、従来の視点変換画像の生成においては、中心の１視点からの画像を幾何変換して、画像を切り出して歪みを除去した画像を生成するだけであり、カメラのパン，チルトの機能を代替するだけであった。また、全周画像は広い画角を単一の素子に結像するため、単位被写体あたりの画素数が小さくなり、障害物の認識を詳細に行うことが困難であった。   In addition, in the generation of a conventional viewpoint-converted image, it simply replaces the camera pan and tilt functions by geometrically transforming the image from one central viewpoint and cutting out the image to remove the distortion. I just did. In addition, since the all-round image forms a wide angle of view on a single element, the number of pixels per unit subject becomes small, and it is difficult to recognize obstacles in detail.

そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による仮想視点画像の生成において、表示画面上に単色で補間した穴明き部分がなく、死角の少ない仮想視点画像を生成する画像生成方法および画像生成装置を提供することを目的としている。   Accordingly, in order to solve the above-described problems of the prior art, the present invention does not have a perforated portion interpolated with a single color on the display screen in the generation of a virtual viewpoint image by images from a plurality of imaging means, and a virtual viewpoint with few blind spots. An object is to provide an image generation method and an image generation apparatus for generating an image.

本発明に係る画像生成方法は、複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することを特徴としている。 In the image generation method according to the present invention , when generating a viewpoint conversion image based on image information supplied by a plurality of imaging means, the blind spot area of the viewpoint conversion image by the imaging means is captured with a relatively wide angle of view. A feature is that a viewpoint-converted image with a small blind spot area is generated by performing interpolation using image information obtained by a suitable wide-angle imaging unit.

さらに、本発明に係る画像生成方法は、撮像手段配置物体の周辺を第１の画角で撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、該生成された画像によっては表出されない欠落画像領域を、前記撮像手段配置物体の頂部側から当該撮像手段配置物体の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間し、実撮像情報による視点変換画像を生成することを特徴としている。   Furthermore, the image generation method according to the present invention is an image generation method for generating a viewpoint-converted image based on photographing information photographed by one or a plurality of imaging means that images the periphery of an imaging means-arranged object at a first angle of view. Wide-angle imaging information obtained by imaging a missing image area that is not represented by the generated image at a second angle of view that looks around the periphery of the imaging means placement object from the top side of the imaging means placement object And a viewpoint conversion image based on actual imaging information is generated.

本発明に係る画像生成装置は、画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えてなることを特徴としている。この場合において、前記死角補間手段により補間された３次元空間の画像を任意の視点位置から見込んだ画像に変換する視点変換手段を備えてなることを特徴としている。また、前記狭画角撮像手段は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されたものであり、前記広画角撮像手段は撮像手段配置物体頂部の周辺全体を撮像可能な位置に配置されたものであることを特徴としている。さらに、前記撮像手段配置物体は、車両であることを特徴としている。   An image generating apparatus according to the present invention includes a plurality of narrow angle-of-view imaging units adapted to imaging with a relatively narrow angle of view, and a composition for developing image information acquired by the narrow-angle-of-field imaging unit in an arbitrary three-dimensional space. Depending on the composite image generated by the composite image generation means, the image generation means, at least one wide-angle image pickup means suitable for imaging with a relatively wide angle of view, and image information of the wide-angle image pickup means may be displayed. It is characterized in that it comprises a blind spot interpolation means that expands into an area including an interpolation area that is not output. In this case, the image processing apparatus is characterized by comprising viewpoint conversion means for converting the image in the three-dimensional space interpolated by the blind spot interpolation means into an image viewed from an arbitrary viewpoint position. Further, the narrow angle imaging means is arranged at each predetermined peripheral imaging position of the imaging means arranged object side peripheral part, and the wide angle imaging means can image the entire periphery of the top of the imaging means arranged object. It is characterized by being arranged at various positions. Furthermore, the imaging means arranged object is a vehicle.

上記構成による画像生成方法および画像生成装置によれば、主たる生成画像となる狭画角画像の死角となる部分の生成画像を、主たる生成画像とは異なる画角の他の撮像手段を用いて補間するので、表示画面上に死角となる部分がなくなり、仮想視点による現実に近い画像を表示することが可能となる。また、主たる生成画像外の領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報で補間するので、主たる生成画像となる狭画角撮像手段の設置台数を低減化することができる。
特に撮像手段配置物体を車両に適用した場合、表示画面上に死角部分がなく車両周囲状況が確認できるので安全性を大幅に向上させることができる。 According to the image generation method and the image generation apparatus configured as described above, the generated image of the portion that becomes the blind spot of the narrow-angle image that is the main generated image is interpolated by using another imaging unit having an angle of view different from that of the main generated image. Therefore, there is no blind spot on the display screen, and it is possible to display an image close to reality from the virtual viewpoint. In addition, since the area outside the main generated image is interpolated with the image information from the wide-angle imaging unit adapted to imaging with a relatively wide angle of view, the number of installed narrow-angle imaging units serving as the main generated image is reduced. be able to.
In particular, when the imaging means arranged object is applied to a vehicle, there is no blind spot portion on the display screen and the vehicle surroundings can be confirmed, so that safety can be greatly improved.

以下、本発明に係る画像生成方法および画像生成装置の実施形態を添付した図面に基づいて詳細に説明する。本実施形態では撮像手段配置物体を車両とし、周囲を監視する撮像手段を設置して撮像手段で取得した画像をモニタに表示する画像生成装置を対象に説明する。図１は実施形態に係る画像生成装置の構成を示したシステム構成ブロック図である。   Embodiments of an image generation method and an image generation apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the present embodiment, an image generating apparatus that uses an imaging unit arranged object as a vehicle, installs an imaging unit that monitors the surroundings, and displays an image acquired by the imaging unit on a monitor will be described. FIG. 1 is a system configuration block diagram illustrating a configuration of an image generation apparatus according to an embodiment.

実施形態に係る画像生成装置１０は、主に画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えている。   The image generation apparatus 10 according to the embodiment mainly includes a plurality of narrow-angle imaging units adapted to imaging with a relatively narrow angle of view, and image information acquired by the narrow-angle imaging unit in an arbitrary three-dimensional space. Composite image generation means for developing, at least one wide-angle imaging means suitable for imaging with a relatively wide angle of view, and a composite image generated by the composite image generation means for image information of the wide-angle imaging means And blind spot interpolating means for expanding into an area including an interpolation area that is not exposed.

画像生成装置１０の各構成要素について説明する。撮像対象領域を撮像する撮像手段を複数台設置する。この撮像手段は狭画角撮像手段となる狭画角カメラ１２と、広画角撮像手段となる全周カメラ１６とから構成されている。狭画角カメラ１２は、車両等の周囲の状況を撮り込む画角が標準画角に比べ相対的に狭い撮像に適するカメラである。もちろん、狭画角カメラ１２として標準画角のカメラを用いても良い。また、全周カメラ１６は画角が広く、広い範囲を撮像可能なカメラであり、例えば、パノラマカメラ等を用いることができる。図５に実施形態に係る全周カメラの構成概略図を示す。図５（１）に示すように、全周カメラ１６は透明円筒１６ａ内部の下部に撮像素子１６ｂを配置している。撮像素子１６ｂの上部には結合レンズ１６ｃ、および双曲面円錐ミラー１６ｄが配置され、同図（２）に示すように車両の頂部に設置してある。また、１６ｅは円周カメラの撮像領域を示す。なお、全周カメラ１６は必ずしも高解像度である必要はなく、補間するのに十分であれば低解像度とすることができる。図２は実施形態に係る撮像手段の構成図を示す。図示のように、全周カメラ１６は自車両１５ａ頂部の周辺全体を撮像可能な位置に少なくとも１台配置している。本実施形態では車両中心位置の頂上部に１台配置している。また、狭画角カメラ１２は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されている。本実施形態では車両のフロント前方１２ａ、リア後方１２ｂ，フロント側方１２ｃ，リア側方１２ｄにそれぞれ左右２台ずつ設置している。   Each component of the image generation device 10 will be described. A plurality of imaging means for imaging the imaging target area are installed. This imaging means is composed of a narrow-angle camera 12 serving as a narrow-angle imaging means and an omnidirectional camera 16 serving as a wide-angle imaging means. The narrow-angle camera 12 is a camera that is suitable for imaging in which the angle of view for capturing the surrounding situation of a vehicle or the like is relatively narrow compared to the standard angle of view. Of course, a camera with a standard angle of view may be used as the narrow angle of view camera 12. Further, the all-around camera 16 has a wide angle of view and can capture a wide range. For example, a panoramic camera or the like can be used. FIG. 5 shows a schematic configuration diagram of the all-around camera according to the embodiment. As shown in FIG. 5 (1), the all-round camera 16 has an image sensor 16b disposed in the lower part inside the transparent cylinder 16a. A coupling lens 16c and a hyperboloid conical mirror 16d are disposed above the image sensor 16b, and are installed at the top of the vehicle as shown in FIG. Reference numeral 16e denotes an imaging area of the circumferential camera. The all-around camera 16 does not necessarily have a high resolution, and can have a low resolution as long as it is sufficient for interpolation. FIG. 2 is a configuration diagram of the imaging unit according to the embodiment. As shown in the drawing, at least one all-around camera 16 is arranged at a position where the entire periphery of the top of the host vehicle 15a can be imaged. In the present embodiment, one unit is disposed at the top of the vehicle center position. Further, the narrow angle camera 12 is arranged at each predetermined peripheral imaging position of the imaging means arrangement object side peripheral part. In this embodiment, two vehicles are installed on the left and right sides of the front front 12a, rear rear 12b, front side 12c, and rear side 12d of the vehicle.

全周カメラの画像とその他のカメラの画像は通信回線２１を介して画像選択装置２２にパケット送信される。画像選択装置２２の画像データは、画像整列装置３２で複数のカメラからの撮像画像をＩＤ情報に基づいて時系列に整理される。また、その実写画像データ３４を時系列に記憶している。
画像整列装置３２の画像データは測距装置３６により車両周囲に存在する障害物までの距離を計測している。 The images of the all-round camera and the images of other cameras are packet-transmitted to the image selection device 22 via the communication line 21. The image data of the image selection device 22 is arranged in time series by the image alignment device 32 based on the ID information of the captured images from a plurality of cameras. Further, the photographed image data 34 is stored in time series.
The image data of the image aligning device 32 is measured by the distance measuring device 36 to the distance to the obstacle existing around the vehicle.

キャリブレーション装置１８は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータ１７として格納される。   The calibration device 18 represents camera characteristics such as the mounting position, mounting angle, lens distortion correction value, and lens focal length of the imaging means in the three-dimensional real world for the imaging means arranged in the three-dimensional real world. Determine and identify camera parameters. Camera parameters obtained by calibration are stored as calibration data 17.

合成画像生成手段となる空間モデル生成装置１３は画像データ、測距装置３６による測距画像データ３７、キャリブレーションデータ１７を用いて空間モデル２４を生成する。   The spatial model generation device 13 serving as a composite image generation unit generates a spatial model 24 using the image data, distance measurement image data 37 obtained by the distance measurement device 36, and calibration data 17.

空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データ２６を生成する。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。空間データ２６を生成する場合、死角補間手段は、主たる生成画像を画角が相対的に狭い撮像に適合する狭画角カメラ１２で撮像した画像情報により生成し、主たる生成画像外の領域を画角が相対的に広い撮像に適合する全周カメラ１６による画像情報で補間するように構成している。すなわち、狭画角カメラ１２間で撮像されない死角となる部分を、広い範囲を撮像可能な全周カメラ１６による画像情報を用いて不足部分を補うようにしている。この際、表示画像に貼り付ける全周カメラ１６による画像情報は、必ずしも高解像度である必要はなく、低解像度であっても補間して表示するのに十分な解像度であればよい。   The space reconstruction device 14 calculates the correspondence between each pixel constituting the image obtained from the imaging means and the point in the three-dimensional coordinate system, and generates space data 26. The calculation is performed for all the pixels of the image obtained from each imaging means. When generating the spatial data 26, the blind spot interpolation means generates the main generated image based on the image information captured by the narrow-angle camera 12 that is suitable for imaging with a relatively narrow angle of view, and draws an area outside the main generated image. Interpolation is performed using image information from the omnidirectional camera 16 suitable for imaging with a relatively wide angle. That is, the shortage portion that is not captured between the narrow-angle camera 12 is compensated for by using image information from the omnidirectional camera 16 that can capture a wide range. At this time, the image information from the omnidirectional camera 16 to be pasted on the display image does not necessarily have to have a high resolution, and may have a resolution sufficient for interpolation and display even with a low resolution.

視点変換手段となる視点変換装置１９は、空間再構成装置１４の空間データ２６を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記３次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データ２６から再現し、表示手段となる表示装置２０に表示する。   The viewpoint conversion device 19 serving as a viewpoint conversion unit can convert the spatial data 26 of the space reconstruction device 14 into an image viewed from an arbitrary viewpoint position, and can specify an arbitrarily set viewpoint. That is, it designates from which position in the three-dimensional coordinate system, at which angle, and at what magnification, the image is to be viewed. Further, the image from the viewpoint is reproduced from the spatial data 26 and displayed on the display device 20 serving as a display means.

次に、上記構成による本発明に係る画像生成装置１０を用いた画像生成方法を説明する。車両に設置した複数の狭画角カメラ１２及び全周カメラ１６によって車両周囲の画像を撮像し、撮像した画像データにはＩＤ等が付されて通信回線２１を介して画像選択装置２２にパケット送信される。   Next, an image generation method using the image generation apparatus 10 according to the present invention having the above configuration will be described. An image around the vehicle is captured by a plurality of narrow-angle cameras 12 and an all-around camera 16 installed in the vehicle, and an ID or the like is attached to the captured image data, and packets are transmitted to the image selection device 22 via the communication line 21. Is done.

画像選択装置２２の画像データは、キャリブレーション装置１８により、空間モデル生成に用いるキャリブレーションを実施し、キャリブレーションデータ１７を選択し、空間モデル生成装置１３に出力する。   The image data of the image selection device 22 is calibrated by the calibration device 18 for generating the spatial model, and the calibration data 17 is selected and output to the spatial model generation device 13.

図３（１）に示すように、自車両１５ａ前方に他車両１５ｂがある場合、自車両１５ａに設置した撮像手段の全周カメラ１６と一部の狭画角カメラ１２の撮像範囲は同図（２）に示す範囲となる。図示のように、自車両１５ａの前方の他車両１５ｂは全周カメラ１６で撮像できるとともに、狭画角カメラ１２ａで詳細に撮像することができる。   As shown in FIG. 3 (1), when there is another vehicle 15b in front of the host vehicle 15a, the imaging range of the all-round camera 16 of the imaging means installed in the host vehicle 15a and a part of the narrow-angle camera 12 is the same figure. The range is as shown in (2). As shown in the figure, the other vehicle 15b in front of the host vehicle 15a can be imaged by the all-around camera 16 and can be imaged in detail by the narrow-angle camera 12a.

図４に空間モデル再構成の模式図を示す。空間再構成装置１４に狭画角カメラ１２の空間モデルと、全周カメラ１６の空間モデルが入力される。同図（１）に示すように、自車両を座標系中心として円筒状の空間モデル（背景）と、平面状の空間モデル（路面）を生成する。次に、自車両の前方に位置する移動物体の空間モデルを生成した空間モデル（背景）、空間モデル（路面）上にマッピングする。この場合、同図（２）に示すように、空間モデルにマッピングする画像として、狭画角カメラ１２撮像範囲（Ｃ）を用いることができる部分はそれを用い、画像として解像度の高いものを得ることができる。一方、狭画角カメラ１２からの画像が無い部分は、全周カメラ１６撮像範囲（Ｄ）からの画像領域を用いることができる部分の画像をマッピングする。このように全周カメラ１６の撮像画像は、解像度は低いが狭画角カメラ１２による空間モデル（他車両）周囲を表示する画像データとしては情報量が多く、視認性も十分となる。   FIG. 4 shows a schematic diagram of space model reconstruction. The space reconstruction device 14 receives the space model of the narrow-angle camera 12 and the space model of the all-around camera 16. As shown in FIG. 1A, a cylindrical space model (background) and a planar space model (road surface) are generated with the own vehicle as the center of the coordinate system. Next, it maps on the space model (background) and space model (road surface) which produced | generated the space model of the moving object located ahead of the own vehicle. In this case, as shown in FIG. 2B, the portion that can use the imaging range (C) of the narrow-angle camera 12 is used as an image to be mapped to the spatial model, and an image having a high resolution is obtained as the image. be able to. On the other hand, in the portion where there is no image from the narrow-angle camera 12, the image of the portion where the image area from the imaging range (D) of the all-round camera 16 can be used is mapped. As described above, the captured image of the omnidirectional camera 16 has a low resolution, but has a large amount of information and sufficient visibility as image data for displaying the periphery of the spatial model (other vehicle) by the narrow-angle camera 12.

そして空間モデル２４に、対応する実写画像データ３４をキャリブレーションデータ１７に従ってマッピングすることで、３次元形状上にテクスチャマッピングが施された空間データ２６が生成される。そしてこの空間データ２６を任意視点からの画像として、視点変換装置１９で再変換することで視点変換画像を生成することができる。この視点変換画像を、一旦、視点変換画像データ４２に格納した後、表示装置２０に表示することによって運転者に対して、任意視点から、例えば、死角になっている領域の画像を表示することで運転の支援を実施することができる。   Then, the corresponding live-action image data 34 is mapped to the space model 24 according to the calibration data 17, thereby generating space data 26 in which texture mapping is performed on the three-dimensional shape. A viewpoint conversion image can be generated by re-converting the spatial data 26 as an image from an arbitrary viewpoint by the viewpoint conversion device 19. This viewpoint conversion image is temporarily stored in the viewpoint conversion image data 42, and then displayed on the display device 20, so that an image of an area that is a blind spot, for example, is displayed from an arbitrary viewpoint to the driver. Can provide driving assistance.

なお、本実施形態に係る他の撮像手段から供給される画像情報を用いてする補間は、主たる生成画像外の領域のみを補間するものに限定されるものではなく、主たる画像領域とオーバーラップするように他の撮像手段からの画像情報を利用してその画像生成が賄われ得る。   Note that the interpolation using image information supplied from another imaging unit according to the present embodiment is not limited to the interpolation of only the area outside the main generated image, but overlaps the main image area. As described above, the image generation from other imaging means can be used to cover the image generation.

この実施形態では、広画角のカメラとして、ミラー式の全周カメラを用いて説明したが、この他にも、魚眼レンズによる広角カメラや、超広角レンズを用いた広角カメラ、又はその組み合わせにより全周カメラと同様の作用を持たせても良い。   In this embodiment, a mirror-type all-round camera has been described as a wide-angle camera. However, in addition to this, a wide-angle camera using a fish-eye lens, a wide-angle camera using an ultra-wide-angle lens, or a combination thereof can be used. You may give the same effect | action as a surrounding camera.

なお、自車両周辺に移動障害物がある場合、これを運転席の表示装置２０に迅速に表示させて回避動作をさせるよう促す必要がある。よって、測距装置３６あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、画像生成装置１０に、物体認識装置３８を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該カメラの実写画像データ３４を優先的に読み出して、表示装置２０へ出力するようにしてもよい。   In addition, when there is a moving obstacle around the host vehicle, it is necessary to promptly display this on the display device 20 in the driver's seat so as to perform an avoidance operation. Therefore, when an obstacle is recognized by using the distance sensor function mounted on the distance measuring device 36 or the camera, the object recognition device 38 is provided in the image generating device 10, and the obstacle recognized in the viewpoint conversion image. May be specified, and the photographed image data 34 of the camera may be preferentially read and output to the display device 20.

また、各撮像手段から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、任意に設定される仮想視点と、あらかじめ設定してある仮想視点とのそれぞれに迅速に対応できるようにしている。前者は、画像選択装置２２によって任意の撮像手段から入力してくる画像データパケットをオペレータが直接仮想視点を設定し、この設定された仮想視点に対応する画像データパケットを選択できる。後者の場合は、あらかじめ設定してある仮想視点に対応する合成画像に必要な画像データパケットは特定されるので、規定仮想視点単位に仮想視点データ４０として一旦格納し、これから規定された仮想視点に対応する画像データをまとめて視点選択装置４１によって優先取得できるようにしてもよい。   In addition, since the image data to be acquired from each imaging unit is uniquely determined by the set virtual viewpoint, it is possible to quickly respond to each of the arbitrarily set virtual viewpoint and the preset virtual viewpoint. I am doing so. In the former, an operator can directly set a virtual viewpoint for an image data packet input from an arbitrary imaging means by the image selection device 22, and an image data packet corresponding to the set virtual viewpoint can be selected. In the latter case, the image data packet necessary for the composite image corresponding to the virtual viewpoint set in advance is specified. Therefore, the image data packet is temporarily stored as the virtual viewpoint data 40 for each specified virtual viewpoint, and the virtual viewpoint defined from now on is stored. Corresponding image data may be collectively obtained by the viewpoint selection device 41 with priority.

このような画像生成方法および画像生成装置によれば、複数の撮像手段から供給される画像情報に基づいて画像を生成する画像生成において、前記撮像手段により生成した主たる生成画像外の領域を前記撮像手段とは異なる画角の他の撮像手段から供給される画像情報を用いて補間して画像を生成するようにしているため、仮想視点画像上に死角となる部分が少なくなり、より現実に近い画像を表示することができる。   According to such an image generation method and an image generation apparatus, in image generation for generating an image based on image information supplied from a plurality of imaging units, an area outside the main generated image generated by the imaging unit is captured. Since the image is generated by interpolating using image information supplied from another imaging means with a different angle of view from the means, there are fewer blind spots on the virtual viewpoint image, which is closer to reality An image can be displayed.

また、複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することができる。   In addition, when generating a viewpoint conversion image based on image information supplied by a plurality of imaging means, a wide angle imaging means adapted to imaging with a relatively wide angle of view in the blind spot area of the viewpoint conversion image by the imaging means By interpolating using the image information according to the above, it is possible to generate a viewpoint conversion image with a small blind spot area.

撮像手段配置物体となる車両の周辺を第１の画角で撮像する１または複数の狭画角カメラ１２によって撮影された撮影情報によって視点変換画像を生成する場合、生成された画像によっては表出されない欠落画像領域を、車両の後部側から車両の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間して実撮像情報による視点変換画像を生成することができる。   When a viewpoint conversion image is generated based on shooting information captured by one or a plurality of narrow angle-of-view cameras 12 that capture an image of the periphery of a vehicle that is an imaging unit arranged object at a first angle of view, depending on the generated image, It is possible to generate a viewpoint-converted image based on actual imaging information by interpolating the missing image area using wide-angle imaging information captured at a second angle of view that looks around the vehicle from the rear side of the vehicle. .

生成した仮想視点画像を車両のモニタに表示すれば車両周辺状況を広範囲で確認することが可能となり、安全性を大幅に向上させることができる。
また、空間モデルを生成するための手段として、レーザレーダ、ミリ波レーダ、もしくはステレオ測距等を用いても良い。 If the generated virtual viewpoint image is displayed on the monitor of the vehicle, it is possible to check the situation around the vehicle in a wide range, and the safety can be greatly improved.
Further, laser radar, millimeter wave radar, stereo ranging, or the like may be used as means for generating a spatial model.

上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。   In each of the above-described examples, the plurality of imaging devices may be used so as to configure a so-called trinocular stereo camera or may be used so as to configure a four-eye stereo camera. In this way, it is known that using a three-lens or four-eye stereo camera provides more reliable and stable processing results in three-dimensional reconstruction processing (Fumiaki Tomita: published by the Information Processing Society of Japan) Information processing "Volume 42 No.4" High-function 3D visual system "). In particular, when a plurality of cameras are arranged in two base length directions, a so-called multi-baseline stereo camera can be realized, and more accurate stereo distance measurement can be realized.

なお、カメラなど撮像手段を設置する対象物は車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。   In addition, although the object which installs imaging means, such as a camera, is shown as an example of being mounted on a vehicle, the same applies even when the imaging device is placed inside a pedestrian, a street, a store, a residence, an office, etc. It is possible to perform image generation. With this configuration, it is possible to adapt to a monitoring camera or a wearable computer that is attached to a person and performs video-based information acquisition.

本発明に係る画像生成方法および画像生成装置は、撮像手段配置物体として車両に撮像手段を設置して表示させることができ、このほかにも監視カメラを配置した部屋、建物等についても利用することができる。   The image generation method and the image generation apparatus according to the present invention can display and display an imaging unit on a vehicle as an imaging unit arranged object, and can also be used for a room, a building, or the like in which a monitoring camera is arranged. Can do.

実施形態に係る画像生成装置のシステム構成ブロック図を示す。1 shows a system configuration block diagram of an image generation apparatus according to an embodiment. 実施形態に係る撮像手段の構成図を示す。The block diagram of the imaging means which concerns on embodiment is shown. 実施形態に係る撮像手段の撮像範囲を示す図である。It is a figure which shows the imaging range of the imaging means which concerns on embodiment. 空間モデル再構成の模式図を示す。A schematic diagram of spatial model reconstruction is shown. 実施形態に係る全周カメラの構成概略図を示す。1 is a schematic configuration diagram of an omnidirectional camera according to an embodiment. 従来の全方位撮像手段による画像表示を示す図である。It is a figure which shows the image display by the conventional omnidirectional imaging means.

符号の説明Explanation of symbols

１０………画像生成装置、１２………狭画角カメラ、１３………空間モデル生成装置、１４………空間再構成装置、１６………全周カメラ、１７………キャリブレーションデータ、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２１………通信回線、２２………画像選択装置、２４………空間モデル、２６………空間データ、３２………画像整列装置、３４………実写画像データ、３６………測距装置、３７………距離画像データ、３８………物体認識装置、４０………仮想視点データ、４１………視点選択装置、４２………視点変換画像データ。

DESCRIPTION OF SYMBOLS 10 ......... Image generation apparatus, 12 ......... Narrow field angle camera, 13 ......... Spatial model generation apparatus, 14 ......... Spatial reconstruction apparatus, 16 ......... All-around camera, 17 ......... Calibration data 18 ......... Calibration device, 19 ......... Viewpoint conversion device, 20 ......... Display device, 21 ......... Communication line, 22 ......... Image selection device, 24 ......... Spatial model, 26 ......... Spatial data, 32 .... Image alignment device, 34 ..... Actually photographed image data, 36 .... Distance measuring device, 37 .... Distance image data, 38 .... Object recognition device, 40 .... Virtual viewpoint data. , 41... Viewpoint selection device, 42... Viewpoint conversion image data.

Claims (6)

複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することを特徴とする画像生成方法。   When generating a viewpoint conversion image based on image information supplied by a plurality of imaging means, an image by a wide-angle imaging means adapted for imaging with a relatively wide angle of view in the blind spot area of the viewpoint conversion image by the imaging means An image generation method characterized by generating a viewpoint conversion image with a small blind spot area by interpolating using information. 撮像手段配置物体の周辺を第１の画角で撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、該生成された画像によっては表出されない欠落画像領域を、前記撮像手段配置物体の頂部側から当該撮像手段配置物体の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間し、実撮像情報による視点変換画像を生成することを特徴とする画像生成方法。   An image generation method for generating a viewpoint-converted image based on shooting information captured by one or a plurality of imaging units that captures the periphery of an imaging unit-arranged object at a first angle of view, depending on the generated image The missing image area that is not used is interpolated using wide-angle imaging information that is imaged at a second angle of view so that the surroundings of the imaging means arranged object can be seen from the top side of the imaging means arranged object, and a viewpoint based on actual imaging information An image generation method characterized by generating a converted image. 画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えてなる画像生成装置。   A plurality of narrow angle-of-view imaging means adapted for imaging with a relatively narrow angle of view, a composite image generating means for developing image information acquired by the narrow angle-of-view imaging means in an arbitrary three-dimensional space, and a relative angle of view At least one wide-angle imaging unit adapted for wide imaging, and image information of the wide-angle imaging unit is developed into a region including an interpolation region that is not represented by the synthesized image generated by the synthesized image generating unit An image generation apparatus comprising a blind spot interpolation means. 前記死角補間手段により補間された３次元空間の画像を、任意の視点位置から見込んだ画像に変換する視点変換手段を備えてなることを特徴とする請求項３に記載の画像生成装置。 4. The image generation apparatus according to claim 3 , further comprising viewpoint conversion means for converting the image in the three-dimensional space interpolated by the blind spot interpolation means into an image viewed from an arbitrary viewpoint position. 前記狭画角撮像手段は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されたものであり、前記広画角撮像手段は撮像手段配置物体頂部の周辺全体を撮像可能な位置に配置されたものであることを特徴とする、請求項３に記載の画像生成装置。 The narrow angle-of-view imaging means is disposed at each predetermined peripheral imaging position of the imaging means-arranged object-side peripheral portion, and the wide-angle imaging means is a position where the entire periphery of the imaging means-positioned object top can be imaged. The image generation apparatus according to claim 3 , wherein the image generation apparatus is arranged in a position. 前記撮像手段配置物体は、車両であることを特徴とする請求項５に記載の画像生成装置。 The image generating apparatus according to claim 5 , wherein the imaging unit arranged object is a vehicle.
JP2004168410A 2004-06-07 2004-06-07 Image generation method and image generation apparatus Expired - Fee Related JP4339749B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004168410A JP4339749B2 (en) 2004-06-07 2004-06-07 Image generation method and image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168410A JP4339749B2 (en) 2004-06-07 2004-06-07 Image generation method and image generation apparatus

Publications (2)

Publication Number Publication Date
JP2005348307A JP2005348307A (en) 2005-12-15
JP4339749B2 true JP4339749B2 (en) 2009-10-07

Family

ID=35500224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168410A Expired - Fee Related JP4339749B2 (en) 2004-06-07 2004-06-07 Image generation method and image generation apparatus

Country Status (1)

Country Link
JP (1) JP4339749B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6091132B2 (en) * 2012-09-28 2017-03-08 株式会社日立国際電気 Intruder monitoring system
JP2016168877A (en) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 Visual recognition device for vehicle
JP7073092B2 (en) * 2017-01-06 2022-05-23 キヤノン株式会社 Image processing equipment, image processing methods and programs
JP7237882B2 (en) * 2020-04-07 2023-03-13 住友建機株式会社 Excavator

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123840B2 (en) * 1992-12-01 2001-01-15 日本電信電話株式会社 Image update device
JP3269056B2 (en) * 2000-07-04 2002-03-25 松下電器産業株式会社 Monitoring system

Also Published As

Publication number Publication date
JP2005348307A (en) 2005-12-15

Similar Documents

Publication Publication Date Title
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP5739584B2 (en) 3D image synthesizing apparatus and method for visualizing vehicle periphery
JP6310652B2 (en) Video display system, video composition device, and video composition method
JP2006033570A (en) Image generating device
JP4744823B2 (en) Perimeter monitoring apparatus and overhead image display method
WO2019192359A1 (en) Vehicle panoramic video display system and method, and vehicle controller
KR101389884B1 (en) Dynamic image processing method and system for processing vehicular image
JP5455124B2 (en) Camera posture parameter estimation device
KR101077584B1 (en) Apparatus and method for processing images obtained by a plurality of cameras
WO2012096058A1 (en) Image generating device
KR101339121B1 (en) An apparatus for generating around view image of vehicle using multi look-up table
JP2009524171A (en) How to combine multiple images into a bird's eye view image
KR20220012375A (en) Apparatus and method for providing around view
JP2006119843A (en) Image forming method, and apparatus thereof
JP2006060425A (en) Image generating method and apparatus thereof
JP4545503B2 (en) Image generating apparatus and method
JP2006254318A (en) Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method
JP4339749B2 (en) Image generation method and image generation apparatus
JP2006031101A (en) Image generation method and device therefor
KR101293263B1 (en) Image processing apparatus providing distacnce information in a composite image obtained from a plurality of image and method using the same
JP2006054503A (en) Image generation method and apparatus
JP2017117357A (en) Three-dimensional object detection device
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
JP4147470B2 (en) Road surface display method and apparatus
JP4493434B2 (en) Image generation method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090611

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees