JP2002354468A - Picture compositing method and picture compositing device and vehicle surrounding situation monitor device - Google Patents
Picture compositing method and picture compositing device and vehicle surrounding situation monitor deviceInfo
- Publication number
- JP2002354468A JP2002354468A JP2001161755A JP2001161755A JP2002354468A JP 2002354468 A JP2002354468 A JP 2002354468A JP 2001161755 A JP2001161755 A JP 2001161755A JP 2001161755 A JP2001161755 A JP 2001161755A JP 2002354468 A JP2002354468 A JP 2002354468A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- cameras
- images
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば車両に搭載
された複数のカメラが撮影したそれぞれの入力画像を、
俯瞰画像を経て合成して、１つの出力画像とする画像合
成方法及び画像合成装置、並びにこの画像合成装置を装
備した車両周囲状況モニタ装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to, for example, input images taken by a plurality of cameras mounted on a vehicle.
The present invention relates to an image synthesizing method and an image synthesizing apparatus that combine images via a bird's-eye view image to form one output image, and a vehicle surrounding situation monitoring apparatus equipped with the image synthesizing apparatus.
【０００２】[0002]
【従来の技術】従来、車両に搭載された複数台のカメラ
がそれぞれ撮影した入力画像を俯瞰画像に変換し、これ
ら複数の俯瞰画像を合成して、車両の周囲の状況を表示
する一つの出力画像とする車両周囲状況モニタ装置が提
案されている。2. Description of the Related Art Conventionally, an input image taken by a plurality of cameras mounted on a vehicle is converted into a bird's-eye view image, and the plurality of bird's-eye view images are combined to form one output for displaying a situation around the vehicle. 2. Description of the Related Art There has been proposed a vehicle surrounding situation monitoring device that uses images.
【０００３】このような車両周囲状況モニタ装置では、
上記カメラは地面に対し垂直以外の所定の角度をもって
設置されている。また、上記俯瞰画像は、カメラが撮影
した入力画像を、車両周囲の状況を垂直に見下ろす画像
である。従って、上述のような車両周囲状況モニタ装置
は、主に駐車アシストの機能を果たして好適である。[0003] In such a vehicle surrounding situation monitoring device,
The camera is installed at a predetermined angle other than perpendicular to the ground. The bird's-eye view image is an image in which the input image taken by the camera is vertically looked down at the situation around the vehicle. Therefore, the above-described vehicle surroundings monitoring device is suitable for mainly performing the function of parking assist.
【０００４】この車両周囲状況モニタ装置において作成
される出力画像は、入力画像と俯瞰画像と出力画像との
各画素の対応関係を記憶したルックアップテーブルに基
づいて、入力画像の画素を俯瞰画像の画素に変換し、こ
の俯瞰画像の画素を出力画像の画素に変換して再配置す
る手法（ポイント・トゥ・ポイント法）が用いられてい
る。この手法によれば、比較的低コストに画像を変換し
合成することができる。[0004] The output image created by this vehicle surrounding situation monitoring device is based on a look-up table that stores the correspondence between each pixel of the input image, the bird's-eye view image, and the output image. A method (point-to-point method) of converting the pixels of the bird's-eye view image into pixels of the output image and rearranging the converted pixels is used. According to this method, images can be converted and synthesized at a relatively low cost.
【０００５】また、このポイント・トゥ・ポイント法に
おいて、図５に示す出力画像１００は次のようにして作
成される。In this point-to-point method, an output image 100 shown in FIG. 5 is created as follows.
【０００６】つまり、図４に示す例えば２台のカメラ１
０１、１０２にてそれぞれ撮影された入力画像（図示せ
ず）から俯瞰画像１０３、１０４がそれぞれ座標変換し
て作成される。これらの俯瞰画像１０３及び俯瞰画像１
０４を合成して出力画像１００が作成されるが、俯瞰画
像１０３のうち、俯瞰画像１０４と重なる領域の一部分
１０３Ｂが削除され、俯瞰画像１０４のうち、俯瞰画像
１０３と重なる領域の一部分１０４Ｂが削除される。俯
瞰画像１０３の残り部分１０３Ａと俯瞰画像１０４の残
り部分１０４Ａとが境界線１０５で接合されて、出力画
像１００が作成される。従って、この出力画像１００に
おいては、図５の左側領域１０６に、俯瞰画像１０３の
画素のみが割り当てられ、境界線１０５の右側領域１０
７に、俯瞰画像１０４の画素のみが割り当てられる。That is, for example, two cameras 1 shown in FIG.
From the input images (not shown) captured in 01 and 102, overhead images 103 and 104 are created by performing coordinate conversion, respectively. These overhead image 103 and overhead image 1
04, the output image 100 is created. In the overhead image 103, a part 103B of the area overlapping the overhead image 104 is deleted, and in the overhead image 104, a part 104B of the area overlapping the overhead image 103 is deleted. Is done. The remaining portion 103A of the bird's-eye view image 103 and the remaining portion 104A of the bird's-eye view image 104 are joined at the boundary 105, and the output image 100 is created. Therefore, in the output image 100, only the pixels of the overhead image 103 are assigned to the left area 106 of FIG.
7, only the pixels of the overhead view image 104 are assigned.
【０００７】なお、図４中の符号１０８は、地面１０９
に立設された柱状障害物である。この柱状障害物１０８
は、俯瞰画像１０３において柱状障害物映像１１０とし
て、また、俯瞰画像１０４において柱状障害物映像１１
１としてそれぞれ示される。Note that reference numeral 108 in FIG.
It is a columnar obstacle standing upright. This columnar obstacle 108
Is a columnar obstacle image 110 in the overhead image 103 and a columnar obstacle image 11 in the overhead image 104.
1 respectively.
【０００８】また、図４中の符号１１２は、カメラ１０
１の撮影範囲１１２を示し、符号１１３は、カメラ１０
２の撮影範囲１１３を示す。上記撮影範囲１１２のうち
範囲１１２Ｂが、また撮影範囲１１３のうち範囲１１３
Ｂが、俯瞰画像１０３と俯瞰画像１０４との合成時に削
除される一部分１０３Ｂ、一部分１０４Ｂにそれぞれ対
応する。Further, reference numeral 112 in FIG.
1 indicates a shooting range 112, and reference numeral 113 indicates a camera 10
2 shows a shooting range 113. The range 112B of the shooting range 112 and the range 113 of the shooting range 113
B corresponds to the part 103B and the part 104B which are deleted when the overhead image 103 and the overhead image 104 are combined.
【０００９】[0009]
【発明が解決しようとする課題】上述のような車両周囲
状況モニタ装置では、例えばカメラ１０１、１０２にて
撮影された入力画像からそれぞれ変換された俯瞰画像１
０３、俯瞰画像１０４のうち、一部分１０３Ｂ及び一部
分１０４Ｂが削除されてしまうので、図５に示す出力画
像１００には、カメラ１０１及び１０２にて撮影された
入力画像が適正に反映されない場合が生ずる。In the above-described vehicle environment monitoring apparatus, for example, an overhead image 1 converted from an input image captured by the cameras 101 and 102, respectively.
03, since the part 103B and the part 104B of the bird's-eye view image 104 are deleted, the input images captured by the cameras 101 and 102 may not be properly reflected in the output image 100 shown in FIG.
【００１０】つまり、上述の車両周囲状況モニタ装置で
は、出力画像１００には、柱状障害物１０８の柱状障害
物映像１１０及び１１１のうち、地面１０９近傍の部分
１１４のみしか表示されず、空中に存在する部分が表示
されないおそれがある。In other words, in the above-described vehicle surroundings monitoring apparatus, only the portion 114 near the ground 109 of the columnar obstacle images 110 and 111 of the columnar obstacle 108 is displayed in the output image 100, and is not present in the air. May not be displayed.
【００１１】一方、出力画像１００において、俯瞰画像
１０３と俯瞰画像１０４とが重なる領域で、これら俯瞰
画像１０３及び１０４の画像の画素を、平均操作等の演
算処理により混合して合成し、この出力画像１００を作
成する他の車両周囲状況モニタ装置も提案されている。On the other hand, in the area where the overhead image 103 and the overhead image 104 overlap in the output image 100, the pixels of the images of the overhead images 103 and 104 are mixed and combined by arithmetic processing such as averaging operation, and the output is obtained. Other vehicle surrounding situation monitoring devices that create the image 100 have also been proposed.
【００１２】このような車両周囲状況モニタ装置では、
俯瞰画像１０３の一部分１０３Ｂと俯瞰画像１０４の一
部分１０４Ｂとが、前述の車両周囲状況モニタ装置のよ
うに削除されないので、カメラ１０１及び１０２にて撮
影された入力画像が適正に反映されたものとなってい
る。しかしながら、上述のような平均操作等の演算処理
をリアルタイムで実行するためには高額な演算装置が必
要となり、この結果、車両周囲状況モニタ装置自体も高
価な装置となってしまう。In such a vehicle surrounding situation monitoring device,
Since the part 103B of the bird's-eye view image 103 and the part 104B of the bird's-eye view image 104 are not deleted unlike the above-described vehicle surroundings monitoring device, the input images taken by the cameras 101 and 102 are appropriately reflected. ing. However, in order to execute the above-described arithmetic processing such as the averaging operation in real time, an expensive arithmetic device is required, and as a result, the vehicle surroundings monitoring device itself becomes an expensive device.
【００１３】本発明の目的は、上述の事情を考慮してな
されたものであり、複数台のカメラが撮影した画像を合
成して一つの出力画像とする際に、カメラが捉えた被写
体を出力画像に適正に取り込むことができる画像合成方
法及び装置並び車両周囲状況モニタ装置を提供すること
にある。SUMMARY OF THE INVENTION An object of the present invention has been made in view of the above-mentioned circumstances, and when combining images taken by a plurality of cameras into one output image, an object captured by the cameras is output. It is an object of the present invention to provide an image synthesizing method and apparatus which can be appropriately captured in an image, and a vehicle surrounding situation monitoring apparatus.
【００１４】[0014]
【課題を解決するための手段】請求項１に記載の発明
は、複数のカメラが撮影したそれぞれの入力画像を合成
して一つの出力画像とする画像合成方法であって、上記
出力画像における複数の上記入力画像が重なる領域で
は、これら複数の入力画像の画素を一定の規則に従って
交互に配置することを特徴とするものである。According to a first aspect of the present invention, there is provided an image synthesizing method for synthesizing input images taken by a plurality of cameras into one output image. In an area where the above input images overlap, the pixels of the plurality of input images are alternately arranged according to a certain rule.
【００１５】請求項２に記載の発明は、請求項１に記載
の発明において、上記カメラが２台の場合には、出力画
像において、これらの各カメラが撮影したそれぞれの入
力画像の重なる領域で、これら２つの入力画像の画素を
１画素づつ交互に配置することを特徴とするものであ
る。According to a second aspect of the present invention, in the first aspect of the present invention, in the case where the number of the cameras is two, an output image includes a region where each of the input images captured by each of the cameras overlaps. The pixels of the two input images are alternately arranged one by one.
【００１６】請求項３に記載の発明は、複数のカメラが
撮影したそれぞれの入力画像を俯瞰画像に変換し、これ
ら複数の俯瞰画像を合成して一つの出力画像とする画像
合成方法であって、上記出力画像における複数の上記俯
瞰画像が重なる領域では、これら複数の俯瞰画像の画素
を一定の規則に従って交互に配置することを特徴とする
ものである。According to a third aspect of the present invention, there is provided an image synthesizing method which converts each input image captured by a plurality of cameras into a bird's-eye view image, and combines these plurality of bird's-eye view images into one output image. In a region where the plurality of overhead images in the output image overlap with each other, pixels of the plurality of overhead images are alternately arranged according to a certain rule.
【００１７】請求項４に記載の発明は、請求項３に記載
の発明において、複数のカメラが車両に搭載され、これ
らのカメラが撮影したそれぞれの入力画像を、車両周囲
の状況を見下ろす俯瞰画像に変換することを特徴とする
ものである。According to a fourth aspect of the present invention, in the third aspect of the present invention, a plurality of cameras are mounted on a vehicle, and each of the input images taken by these cameras is converted into an overhead view image of a situation around the vehicle. Is converted to
【００１８】請求項５に記載の発明は、請求項３または
４に記載の発明において、上記カメラが２台の場合に
は、出力画像において、これらの各カメラが撮影したそ
れぞれの入力画像を変換した俯瞰画像の重なる領域で、
これら２つの俯瞰画像の画素を１画素づつ交互に配置す
ることを特徴とするものである。According to a fifth aspect of the present invention, in the third or fourth aspect of the present invention, when the number of the cameras is two, each of the input images taken by each of the cameras is converted into an output image. In the overlapping area of the bird's-eye image
It is characterized in that the pixels of these two overhead images are alternately arranged one by one.
【００１９】請求項６に記載の発明は、複数のカメラが
撮影したそれぞれの入力画像を合成して一つの出力画像
とする画像合成装置であって、複数のカメラが撮影した
それぞれの入力画像の画像データを記憶する画像データ
記憶手段と、上記入力画像の画素の座標を上記出力画像
の画素の座標に変換し、この変換の際に、上記出力画像
における複数の上記入力画像の重なり領域では、これら
複数の入力画像の画素を一定の規則に従って交互に配置
するように、上記入力画像と上記出力画像との画素の対
応関係が記録されたルックアップテーブルを格納するル
ックアップテーブル記憶手段と、上記画像データ記憶手
段に記憶された複数の上記入力画像の上記画像データか
ら、上記ルックアップテーブルに基づき一つの出力画像
を合成する画像合成手段と、を有して構成されたことを
特徴とするものである。According to a sixth aspect of the present invention, there is provided an image synthesizing apparatus for synthesizing each input image photographed by a plurality of cameras into one output image, wherein each of the input images photographed by the plurality of cameras is combined. Image data storage means for storing image data, and converts the coordinates of the pixels of the input image to the coordinates of the pixels of the output image, at the time of this conversion, in the overlapping area of the plurality of input images in the output image, Lookup table storage means for storing a lookup table in which the correspondence between the pixels of the input image and the output image is recorded so that the pixels of the plurality of input images are alternately arranged according to a certain rule. An image combining unit that combines one output image based on the look-up table from the image data of the plurality of input images stored in the image data storage unit. It is characterized in that is configured to have a means.
【００２０】請求項７に記載の発明は、請求項６に記載
の発明において、上記カメラが２台の場合、ルックアッ
プテーブル記憶手段におけるルックアップテーブルに
は、出力画像において、上記各カメラが撮影したそれぞ
れの入力画像の重なる領域で、これら２つの入力画像の
画素を１画素づつ交互に配置するように、上記入力画像
と上記出力画像との画素の対応関係が記録されたことを
特徴とするものである。According to a seventh aspect of the present invention, in the sixth aspect of the present invention, when the number of the cameras is two, each of the cameras in the look-up table in the look-up table storage means stores the image in the output image. The correspondence between the pixels of the input image and the output image is recorded such that the pixels of the two input images are alternately arranged one by one in the overlapping area of the respective input images. Things.
【００２１】請求項８に記載の発明は、複数のカメラが
撮影したそれぞれの入力画像を俯瞰画像に変換し、これ
ら複数の俯瞰画像を合成して一つの出力画像とする画像
合成装置であって、複数のカメラが撮影したそれぞれの
入力画像の画像データを記憶する画像データ記憶手段
と、上記入力画像の画素の座標を、上記俯瞰画像の画素
の座標を経て上記出力画像の画素の座標に変換し、この
変換の際に、上記出力画像における複数の上記俯瞰画像
が重なる領域では、これら複数の俯瞰画像の画素を一定
の規則に従って交互に配置するように、上記入力画像と
上記俯瞰画像と上記出力画像との画素の対応関係が記録
されたルックアップテーブルを格納するルックアップテ
ーブル記憶手段と、上記画像データ記憶手段に記憶され
た複数の上記入力画像の上記画像データから、上記ルッ
クアップテーブルに基づき一つの出力画像を合成する画
像合成手段と、を有して構成されたことを特徴とするも
のである。According to an eighth aspect of the present invention, there is provided an image synthesizing apparatus which converts each input image photographed by a plurality of cameras into a bird's-eye view image, and combines the plurality of bird's-eye view images into one output image. Image data storage means for storing image data of each input image taken by a plurality of cameras, and converting the coordinates of the pixels of the input image into the coordinates of the pixels of the output image via the coordinates of the pixels of the overhead image In this conversion, in the area where the plurality of overhead images in the output image overlap with each other, the input image, the overhead image, and the input image are arranged such that the pixels of the plurality of overhead images are alternately arranged according to a certain rule. A look-up table storing means for storing a look-up table in which a correspondence relationship between pixels with an output image is recorded; and a plurality of the input images stored in the image data storing means. From the image data, it is characterized in that it has been configured to have an image synthesizing means for synthesizing one output image based on the look-up table, a.
【００２２】請求項９に記載の発明は、請求項８に記載
の発明において、複数のカメラが車両に搭載された場合
には、ルックアップテーブル記憶手段におけるルックア
ップテーブルに記憶された俯瞰画像は、上記カメラが撮
影したそれぞれの入力画像から変換された車両周囲の状
況を見下ろす俯瞰画像であることを特徴とするものであ
る。According to a ninth aspect of the present invention, in the invention of the eighth aspect, when a plurality of cameras are mounted on the vehicle, the overhead view image stored in the lookup table in the lookup table storage means is And a bird's-eye view image overlooking the situation around the vehicle converted from each input image captured by the camera.
【００２３】請求項１０に記載の発明は、請求項８また
は９に記載の発明において、上記カメラが２台の場合、
ルックアップテーブル記憶手段におけるルックアップテ
ーブルには、出力画像において、これらの各カメラが撮
影したそれぞれの入力画像を変換した俯瞰画像の重なる
領域で、これら２つの俯瞰画像の画素を１画素づつ交互
に配置するように、上記入力画像と上記俯瞰画像と上記
出力画像との画素の対応関係が記録されたことを特徴と
するものである。According to a tenth aspect of the present invention, in the invention of the eighth or ninth aspect, when the number of the cameras is two,
The look-up table in the look-up table storage means stores, in the output image, the pixels of these two bird's-eye images alternately one pixel at a time in the overlapping area of the bird's-eye image obtained by converting each input image captured by each of these cameras. The correspondence between pixels of the input image, the overhead image, and the output image is recorded so as to be arranged.
【００２４】請求項１１に記載の発明は、車両に搭載さ
れた複数のカメラと、複数の上記カメラが撮影したそれ
ぞれの入力画像の画像データを記憶する画像データ記憶
手段と、複数の上記入力画像の画素の座標を、車両周囲
の状況を見下ろす複数の俯瞰画像の画素の座標に変換
し、これらの俯瞰画像の画素の座標を一つの出力画像の
画素の座標に変換し、この変換の際に、上記出力画像に
おける複数の上記俯瞰画像が重なる領域では、これら複
数の俯瞰画像の画素を一定の規則に従って交互に配置す
るように、上記入力画像と上記俯瞰画像と上記出力画像
との画素の対応関係が記録されたルックアップテーブル
を格納するルックアップテーブル記憶手段と、上記画像
データ記憶手段に記憶された複数の上記入力画像の上記
画像データから、上記ルックアップテーブルに基づき一
つの出力画像を合成する画像合成手段と、この画像合成
手段にて合成された出力画像を表示する画像出力手段
と、を有して構成されたことを特徴とするものである。According to an eleventh aspect of the present invention, a plurality of cameras mounted on a vehicle, image data storage means for storing image data of respective input images taken by the plurality of cameras, and a plurality of the input images Are converted into the coordinates of the pixels of a plurality of overhead images overlooking the situation around the vehicle, and the coordinates of the pixels of these overhead images are converted into the coordinates of the pixels of one output image. In an area where the plurality of overhead images in the output image overlap, the correspondence between the pixels of the input image, the overhead image, and the output image is set such that the pixels of the plurality of overhead images are alternately arranged according to a certain rule. A look-up table storing means for storing a look-up table in which the relationship is recorded; and a plurality of image data of the plurality of input images stored in the image data storing means. An image synthesizing unit that synthesizes one output image based on a look-up table, and an image output unit that displays the output image synthesized by the image synthesizing unit. is there.
【００２５】請求項１２に記載の発明は、請求項１１に
記載の発明において、上記カメラが２台の場合、ルック
アップテーブル記憶手段におけるルックアップテーブル
には、出力画像において、これらの各カメラが撮影した
それぞれの入力画像を変換した俯瞰画像の重なる領域
で、これら２つの俯瞰画像の画素を１画素づつ交互に配
置するように、上記入力画像と上記俯瞰画像と上記出力
画像との画素の対応関係が記録されたことを特徴とする
ものである。According to a twelfth aspect of the present invention, in the invention according to the eleventh aspect, when the number of the cameras is two, each of these cameras is stored in the lookup table in the lookup table storage means in the output image. The correspondence between the pixels of the input image, the overhead image, and the output image is such that the pixels of the two overhead images are alternately arranged one by one in an overlapping area of the overhead images obtained by converting the respective captured input images. The relationship is recorded.
【００２６】請求項１、２、６、または７に記載の発明
には、次の作用がある。The invention according to claim 1, 2, 6, or 7 has the following effects.
【００２７】出力画像における複数の入力画像が重なる
領域では、これら複数の入力画像の画素を一定の規則に
従って交互に配置することから、一つの出力画像におい
て、各カメラが撮影した入力画像のほぼ全てが反映され
るので、各カメラが撮影した被写体をこの出力画像に適
正に取り込むことができる。In a region where a plurality of input images overlap in the output image, the pixels of the plurality of input images are alternately arranged according to a certain rule. Is reflected, the subject photographed by each camera can be properly captured in this output image.
【００２８】請求項３、４、５、８、９または１０に記
載の発明には、次の作用がある。The invention according to the third, fourth, fifth, eighth, ninth or tenth aspect has the following effects.
【００２９】複数のカメラが撮影した複数の入力画像の
それぞれを俯瞰画像に変換し、これら複数の俯瞰画像を
出力画像に変換し、この出力画像における複数の俯瞰画
像が重なる領域では、これら複数の俯瞰画像の画素を一
定の規則に従って交互に配置することから、一つの出力
画像において、各カメラが撮影した入力画像のほぼ全て
が反映されるので、各カメラが撮影した被写体をこの出
力画像に適正に取り込むことができる。Each of a plurality of input images photographed by a plurality of cameras is converted into a bird's-eye view image, and these plurality of bird's-eye views are converted into an output image. Since the bird's-eye view pixels are arranged alternately according to a certain rule, almost all of the input images taken by each camera are reflected in one output image. Can be captured.
【００３０】請求項１１または１２に記載の発明には、
次の作用がある。The invention according to claim 11 or 12 includes:
It has the following effects:
【００３１】車両に搭載された複数のカメラが撮影した
複数の入力画像のそれぞれを、車両周囲の状況を見下ろ
す俯瞰画像に変換し、これら複数の俯瞰画像を出力画像
に変換し、この出力画像における複数の俯瞰画像が重な
る領域では、これら複数の俯瞰画像の画素を一定の規則
に従って交互に配置することから、一つの出力画像にお
いて、各カメラが撮影した入力画像のほぼ全てが反映さ
れるので、各カメラが撮影した被写体をこの出力画像に
適正に取り込むことができる。Each of a plurality of input images photographed by a plurality of cameras mounted on the vehicle is converted into an overhead image overlooking a situation around the vehicle, and the plurality of overhead images are converted into an output image. In a region where a plurality of overhead images are overlapped, since the pixels of the plurality of overhead images are alternately arranged according to a certain rule, one output image reflects almost all of the input images captured by each camera. The subject photographed by each camera can be properly captured in this output image.
【００３２】[0032]
【発明の実施の形態】以下、本発明の実施の形態を、図
面に基づき説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００３３】図１は、本発明に係る車両周囲状況モニタ
装置の一実施の形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a vehicle surroundings monitoring device according to the present invention.
【００３４】車両に装備されて、主に駐車時にアシスト
機能を果たす車両周囲状況モニタ装置１０は、図１に示
すように、複数台（例えば２台）のカメラ１１及び１２
と、画像合成装置１３と、画像出力部１４とを有して構
成される。更に、上記画像合成装置１３は、デコード部
１５及び１６、画像データ記憶手段としての画像データ
用メモリ１７及び１８、ルックアップテーブル記憶手段
としてのルックアップテーブル用メモリ１９（ＲＯ
Ｍ）、画像合成手段としての画像制御部２０、並びにエ
ンコード部２１を有して構成される。As shown in FIG. 1, a plurality of (for example, two) cameras 11 and 12 are mounted on a vehicle and mainly perform an assist function when parking.
, An image synthesizing device 13, and an image output unit 14. Further, the image synthesizing device 13 includes decoding sections 15 and 16, image data memories 17 and 18 as image data storage means, and a lookup table memory 19 (RO) as lookup table storage means.
M), an image control unit 20 as an image synthesizing unit, and an encoding unit 21.
【００３５】カメラ１１及び１２は、車両に搭載され
て、地面２２（図２）に対し垂直以外の所定の角度で設
置されている。カメラ１１の撮像範囲を図２の符号Ａに
示し、カメラ１２の撮像範囲を符号Ｂに示す。符号Ｃ
は、撮像範囲ＡとＢの重なり領域を示す。The cameras 11 and 12 are mounted on a vehicle and installed at a predetermined angle other than perpendicular to the ground 22 (FIG. 2). The imaging range of the camera 11 is indicated by reference numeral A in FIG. Code C
Indicates an overlapping area of the imaging ranges A and B.
【００３６】図１に示す画像合成装置１３のデコード部
１５、１６のそれぞれは、カメラ１１、１２にて撮影さ
れたそれぞれの入力画像（不図示）の画像信号より同期
信号を分離し、Ａ／Ｄ（アナログ／デジタル）変換する
ものである。Each of the decoding units 15 and 16 of the image synthesizing apparatus 13 shown in FIG. 1 separates a synchronizing signal from an image signal of each input image (not shown) photographed by the cameras 11 and 12, and It performs D (analog / digital) conversion.
【００３７】画像合成装置１３の画像データ用メモリ１
７、１８の各々は、デコード部１５、１６にてＡ／Ｄ変
換された画像データのそれぞれを記憶して保存する。The image data memory 1 of the image synthesizing device 13
Each of 7 and 18 stores and saves each of the A / D converted image data in the decoding units 15 and 16.
【００３８】画像合成装置１３のルックアップテーブル
用メモリ１９は、カメラ１１、１２にて撮影されたそれ
ぞれの入力画像の画素の座標を、車両周囲の状況を垂直
に見下ろす俯瞰画像２３、２４（図２）の座標に変換
し、これら２つの俯瞰画像２３、２４の画素の座標を１
つの出力画像２５（図３）の画素の座標に変換し、この
変換の際に、出力画像２５における２つの俯瞰画像２３
及び２４が重なる重なり領域２６で、俯瞰画像２３の画
素２７と俯瞰画像２４の画素２８とを一定の規則に従っ
て交互に、つまり１画素づつ交互に配置するように、入
力画像と俯瞰画像２３、２４と出力画像２５との間で、
画素の対応関係が記録されたルックアップテーブルを格
納したものである。The look-up table memory 19 of the image synthesizing apparatus 13 stores the coordinates of the pixels of the input images photographed by the cameras 11 and 12 as overhead images 23 and 24 (see FIG. 2), and the coordinates of the pixels of these two overhead images 23 and 24 are set to 1
Are converted into the coordinates of the pixels of the two output images 25 (FIG. 3).
The input image and the bird's-eye images 23 and 24 are arranged such that the pixels 27 of the bird's-eye image 23 and the pixels 28 of the bird's-eye image 24 are alternately arranged according to a certain rule, that is, one pixel at a time in the overlapping area 26 where And between the output image 25
It stores a look-up table in which the correspondence between pixels is recorded.
【００３９】更に、このルックアップテーブルは、カメ
ラ１１及び１２の取付位置等のパラメータを事前に決定
しておくことにより、入力画像から俯瞰画像２３、２４
への変換、俯瞰画像２３及び２４から出力画像２５への
合成が適切になされるよう予め設定されている。Further, this look-up table determines the parameters such as the mounting positions of the cameras 11 and 12 in advance so that the overhead images 23 and 24 can be obtained from the input image.
Is set in advance so that the conversion into the image and the synthesis from the overhead images 23 and 24 into the output image 25 are appropriately performed.
【００４０】図１に示す画像合成装置１３の画像制御部
２０は、画像データ用メモリ１７、１８に記録されたそ
れぞれの入力画像の画像データから、ルックアップテー
ブル用メモリ１９に格納されたルックアップテーブルに
基づき、１画素ごとに、入力画像の画素を俯瞰画像２
３、２４の画素に変換し、この俯瞰画像２３、２４の画
素を出力画像２５の画素に変換して、１つの出力画像２
５を合成するものである。この合成手法をポイント・ト
ゥ・ポイント法と称する。The image control unit 20 of the image synthesizing apparatus 13 shown in FIG. 1 converts the image data of each input image recorded in the image data memories 17 and 18 into the look-up table stored in the look-up table memory 19. Based on the table, the pixels of the input image are compared with the bird's-eye view image 2 for each pixel.
3 and 24, and the pixels of the overhead images 23 and 24 are converted into the pixels of the output image 25 to obtain one output image 2
5 is synthesized. This combining method is called a point-to-point method.
【００４１】画像合成装置１３のエンコード部２１は、
画像制御部２０にて合成された出力画像２５の画像デー
タをＤ／Ａ（デジタル／アナログ）変換及び同期信号を
付与し、映像信号を形成するものである。The encoding unit 21 of the image synthesizing device 13
The image data of the output image 25 synthesized by the image control unit 20 is subjected to D / A (digital / analog) conversion and a synchronization signal, and a video signal is formed.
【００４２】画像出力部１４は、画像合成装置１３のエ
ンコード部２１から出力された映像信号に基づいて出力
画像２５を表示する。The image output unit 14 displays an output image 25 based on the video signal output from the encoding unit 21 of the image synthesizing device 13.
【００４３】従って、カメラ１１にて撮影されたそれぞ
れの入力画像の画像データを、画像合成装置１３のデコ
ード部１５、１６を経て、画像データ用メモリ１７、１
８のそれぞれに記憶させて保存し、画像制御部２０がル
ックアップテーブル用メモリ１９のルックアップテーブ
ルを参照して、ポイント・トゥ・ポイント法を用い、画
像データ用メモリ１７、１８に保存された入力画像の画
素を俯瞰画像２３、２４の画素に変換し、更に、これら
俯瞰画像２３及び２４の画素を出力画像２５の画素に変
換し、つまり俯瞰画像２３及び２４を合成して出力画像
２５を作成し、この出力画像２５の画像データをエンコ
ード部２１を経て映像信号として、画像出力部１４にて
表示する。Therefore, the image data of each input image photographed by the camera 11 is transmitted to the image data memories 17 and 1 through the decoding units 15 and 16 of the image synthesizing device 13.
8 and stored in the image data memories 17 and 18 using the point-to-point method with reference to the look-up table of the look-up table memory 19. The pixels of the input image are converted into the pixels of the overhead images 23 and 24, and the pixels of the overhead images 23 and 24 are converted into the pixels of the output image 25. That is, the output images 25 are synthesized by combining the overhead images 23 and 24. The image data of the output image 25 is generated and displayed on the image output unit 14 as a video signal via the encoding unit 21.
【００４４】上述のように、俯瞰画像２３及び２４を合
成して出力画像２５を作成する際に、出力画像２５にお
ける俯瞰画像２３及び２４の重なり領域２６（図３）で
は、俯瞰画像２３の画素２７と俯瞰画像２４の画素２８
とが１画素づつ交互に配置される。この結果、地面２２
に垂直に立設されて、カメラ１１、１２に撮影される柱
状障害物３０（図２）は、俯瞰画像２３、２４のそれぞ
れに柱状障害物映像３１、３２として捉えられる。更
に、この柱状障害物映像３１及び３２は、一部が削除さ
れることなくその全てが出力画像２５に表示される。As described above, when the output images 25 are created by combining the overhead images 23 and 24, the overlapping area 26 (FIG. 3) of the overhead images 23 and 24 in the output image 25 27 and the pixel 28 of the overhead image 24
Are alternately arranged for each pixel. As a result, the ground 22
The columnar obstacle 30 (FIG. 2), which is vertically set up and photographed by the cameras 11 and 12, is captured as the columnar obstacle images 31 and 32 in the overhead images 23 and 24, respectively. Further, the columnar obstacle images 31 and 32 are all displayed on the output image 25 without being partially deleted.
【００４５】従って、上記実施の形態によれば、次の効
果を奏する。Therefore, according to the above embodiment, the following effects can be obtained.
【００４６】車両に搭載された２台のカメラ１１、１２
が撮影した２枚の入力画像のそれぞれを、車両周囲の状
況を見下ろす俯瞰画像２３、２４に変換し、これら２枚
の俯瞰画像２３、２４を出力画像２５に変換し、この出
力画像２５における俯瞰画像２３及び２４が重なる重な
り領域２６では、これら俯瞰画像２３の画素２７と俯瞰
画像２４の画素２８を１画素づつ交互に配置することか
ら、１つの出力画像２５において、カメラ１１、１２が
撮影した入力画像のほぼ全てが反映されることになるの
で、カメラ１１、１２が撮影した被写体（例えば柱状障
害物３０）を出力画像２５に適正に取り込むことができ
る。Two cameras 11 and 12 mounted on the vehicle
Each of the two input images photographed by is converted into overhead images 23, 24 overlooking the situation around the vehicle, and these two overhead images 23, 24 are converted into an output image 25, and the overhead image in the output image 25 is converted. In the overlapping area 26 where the images 23 and 24 overlap, the pixels 27 of the overhead image 23 and the pixels 28 of the overhead image 24 are alternately arranged one by one, so that the cameras 11 and 12 shoot in one output image 25. Since almost all of the input image is reflected, the subject (for example, the columnar obstacle 30) photographed by the cameras 11 and 12 can be properly captured in the output image 25.
【００４７】以上、本発明を上記実施の形態に基づいて
説明したが、本発明はこれに限定されるものではない。Although the present invention has been described based on the above embodiment, the present invention is not limited to this.
【００４８】例えば、上記実施の形態では、出力画像２
５において俯瞰画像２３と俯瞰画像２４との重なり領域
２６で、俯瞰画像２３の画素２７と俯瞰画像２４の画素
２８とが１画素づつ交互に配置されるものを述べたが、
この俯瞰画像２３の画素２７と俯瞰画像２４の画素２８
との混合比率は、必ずしも１対１でなくてもよく、重な
り領域２６中の場所に応じて適宜変更してもよい。For example, in the above embodiment, the output image 2
5, in the overlapping area 26 between the overhead image 23 and the overhead image 24, the pixel 27 of the overhead image 23 and the pixel 28 of the overhead image 24 are alternately arranged one by one.
The pixel 27 of the overhead image 23 and the pixel 28 of the overhead image 24
May not necessarily be one-to-one, but may be changed as appropriate according to the location in the overlap region 26.
【００４９】更に、上記実施の形態では、カメラが２台
（２眼カメラ）の場合を述べたが、カメラが３台以上設
置されて、これらのカメラにて撮影された３枚以上の入
力画像から変換された３枚以上の俯瞰画像を用い、出力
画像２５を合成してもよい。この場合、出力画像２５に
おける俯瞰画像の重なり領域２６では、カメラの台数に
応じて、つまり俯瞰画像の枚数に応じて、各俯瞰画像の
画素の配置周期が設定される。例えば、俯瞰画像が３枚
ある場合には、出力画像２５の重なり領域２６に、各俯
瞰画像の画素が３画素周期で配置される。Further, in the above embodiment, the case where two cameras (two-lens camera) are used has been described. However, three or more cameras are installed, and three or more input images taken by these cameras are provided. The output image 25 may be synthesized using three or more bird's-eye images converted from. In this case, in the overlapping area 26 of the overhead image in the output image 25, the arrangement cycle of the pixels of each overhead image is set according to the number of cameras, that is, according to the number of overhead images. For example, when there are three overhead images, the pixels of each overhead image are arranged in the overlapping area 26 of the output image 25 at a three-pixel cycle.
【００５０】更に、上記実施の形態では、カメラ１１、
１２にて撮影された入力画像を、俯瞰画像を経て出力画
像に変換するものを述べたが、カメラ１１、１２の設置
場所及び地面２２に対する設置角度によっては、いった
ん俯瞰画像に変換することなく、複数の入力画像から直
接出力画像２５を合成するものであってもよい。この場
合にも、出力画像２５における複数の入力画像の重なり
領域で、入力画像の画素が一定の規則に従って交互に配
置されるよう構成される。Further, in the above embodiment, the camera 11,
Although the input image taken at 12 is converted into an output image via a bird's-eye view image, depending on the installation location of the cameras 11 and 12 and the installation angle with respect to the ground 22, without once converting to the bird's-eye view image, The output image 25 may be directly synthesized from a plurality of input images. Also in this case, in the overlapping area of the plurality of input images in the output image 25, the pixels of the input image are arranged alternately according to a certain rule.
【００５１】また、上記画像合成装置１３は車両周囲状
況モニタ装置１０に装備されたものを述べたが、船舶や
飛行機、或いは模型の車両、船舶、飛行機等に装備され
るものでってもよい。Although the image synthesizing device 13 has been described as being provided in the vehicle surroundings monitoring device 10, it may be provided in a ship, an airplane, or a model vehicle, a ship, an airplane, or the like. .
【００５２】[0052]
【発明の効果】請求項１または３に記載の発明に係る画
像合成方法によれば、複数台のカメラが撮影した画像を
合成して１つの出力画像とする際に、カメラが捉えた被
写体を出力画像に適正に取り込むことができる。According to the image synthesizing method according to the first or third aspect of the present invention, when combining images taken by a plurality of cameras into one output image, an object captured by the cameras is extracted. It can be properly captured in the output image.
【００５３】請求項６または８に記載の発明に係る画像
合成装置によれば、複数台のカメラが撮影した画像を合
成して１つの出力画像とする際に、カメラが捉えた被写
体を出力画像に適正に取り込むことができる。According to the image synthesizing apparatus of the present invention, when images taken by a plurality of cameras are combined into one output image, a subject captured by the cameras is output to the output image. Can be properly captured.
【００５４】請求項１１に記載の発明に係る車両周囲状
況モニタ装置によれば、複数台のカメラが撮影した画像
を合成して１つの出力画像とする際に、カメラが捉えた
被写体を出力画像に適正に取り込むことができる。According to the vehicle surrounding situation monitoring apparatus of the present invention, when images taken by a plurality of cameras are combined into one output image, a subject captured by the cameras is output as an output image. Can be properly captured.
【図１】本発明に係る車両周囲状況モニタ装置の一実施
の形態を示すブロック図である。FIG. 1 is a block diagram showing one embodiment of a vehicle surrounding situation monitoring device according to the present invention.
【図２】図１の車両周囲状況モニタ装置におけるカメラ
による撮影状況等を示す図である。FIG. 2 is a diagram showing a photographing situation and the like by a camera in the vehicle surrounding situation monitoring device of FIG. 1;
【図３】図１の車両周囲状況モニタ装置の画像出力部に
表示された出力画像等を示す図である。FIG. 3 is a diagram showing an output image and the like displayed on an image output unit of the vehicle surrounding situation monitoring device of FIG. 1;
【図４】従来の車両周囲状況モニタ装置におけるカメラ
による撮影状況等を示す図である。FIG. 4 is a diagram showing a photographing situation and the like by a camera in a conventional vehicle surrounding situation monitoring device.
【図５】図４の車両周囲状況モニタ装置において表示さ
れた出力画像等を示す図である。FIG. 5 is a diagram showing an output image and the like displayed on the vehicle surrounding situation monitoring device of FIG. 4;
１０ 車両周囲状況モニタ装置 １１、１２ カメラ １３ 画像合成装置 １４ 画像出力部 １７、１８ 画像データ用メモリ（画像データ記憶手
段） １９ ルックアップテーブル用メモリ（ルックアップテ
ーブル記憶手段） ２０ 画像制御部（画像合成手段） ２３、２４ 俯瞰画像 ２５ 出力画像 ２６ 出力画像の重なり領域REFERENCE SIGNS LIST 10 vehicle surroundings monitoring device 11, 12 camera 13 image synthesizing device 14 image output unit 17, 18 image data memory (image data storage unit) 19 lookup table memory (lookup table storage unit) 20 image control unit (image) Synthesizing means) 23, 24 Overhead image 25 Output image 26 Overlap area of output image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/377 Ｈ０４Ｎ 1/387 ５Ｃ０８２ Ｈ０４Ｎ 1/387 5/225 Ｃ 5/225 5/232 Ｚ 5/232 5/262 5/262 5/265 5/265 Ｇ０９Ｇ 5/36 ５２０Ｌ (72)発明者 大木 透 東京都文京区白山５丁目35番２号 クラリ オン株式会社内 (72)発明者 佐藤 徳行 東京都文京区白山５丁目35番２号 クラリ オン株式会社内 Ｆターム(参考） 5B057 AA16 BA02 BA11 CA08 CA16 CB08 CB16 CD20 CE08 5C022 AA04 AB00 5C023 AA11 AA21 AA37 BA11 CA01 DA04 5C054 AA01 AA05 CA04 EA01 EA05 FD01 FE17 HA30 5C076 AA01 AA12 AA13 AA19 BA05 BA06 5C082 AA27 BA20 BA42 CA56 CB01 DA51 MM10 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09G 5/377 H04N 1/387 5C082 H04N 1/387 5/225 C 5/225 5/232 Z 5/232 5/262 5/262 5/265 5/265 G09G 5/36 520L (72) Inventor Toru Oki 5-35-2 Hakusan, Bunkyo-ku, Tokyo Inside Clarion Co., Ltd. (72) Inventor Noriyuki Sato Bunkyo, Tokyo 5-35-2, Hakusan-ku, Clarion Co., Ltd. F-term (reference) 5B057 AA16 BA02 BA11 CA08 CA16 CB08 CB16 CD20 CE08 5C022 AA04 AB00 5C023 AA11 AA21 AA37 BA11 CA01 DA04 5C054 AA01 AA05 CA04 EA01 A17 A01 EA05 A12 AA13 AA19 BA05 BA06 5C082 AA27 BA20 BA42 CA56 CB01 DA51 MM10
Claims (12)
画像を合成して一つの出力画像とする画像合成方法であ
って、 上記出力画像における複数の上記入力画像が重なる領域
では、これら複数の入力画像の画素を一定の規則に従っ
て交互に配置することを特徴とする画像合成方法。1. An image combining method for combining input images captured by a plurality of cameras into one output image, wherein in an area of the output image where the plurality of input images overlap, the plurality of input images are An image combining method, wherein pixels of an image are alternately arranged according to a certain rule.
において、これらの各カメラが撮影したそれぞれの入力
画像の重なる領域で、これら２つの入力画像の画素を１
画素づつ交互に配置することを特徴とする請求項１に記
載の画像合成方法。2. In a case where the number of cameras is two, in an output image, pixels of these two input images are set to 1 in an overlapping area of respective input images taken by each of these cameras.
2. The image synthesizing method according to claim 1, wherein pixels are alternately arranged.
画像を俯瞰画像に変換し、これら複数の俯瞰画像を合成
して一つの出力画像とする画像合成方法であって、 上記出力画像における複数の上記俯瞰画像が重なる領域
では、これら複数の俯瞰画像の画素を一定の規則に従っ
て交互に配置することを特徴とする画像合成方法。3. An image synthesizing method, wherein each input image taken by a plurality of cameras is converted into a bird's-eye view image, and the plurality of bird's-eye view images are combined into one output image. In an area where the overhead view image overlaps, the pixels of the plurality of overhead view images are alternately arranged according to a certain rule.
のカメラが撮影したそれぞれの入力画像を、車両周囲の
状況を見下ろす俯瞰画像に変換することを特徴とする請
求項３に記載の画像合成方法。4. The image composition according to claim 3, wherein a plurality of cameras are mounted on the vehicle, and each of the input images captured by the cameras is converted into an overhead image overlooking the situation around the vehicle. Method.
において、これらの各カメラが撮影したそれぞれの入力
画像を変換した俯瞰画像の重なる領域で、これら２つの
俯瞰画像の画素を１画素づつ交互に配置することを特徴
とする請求項３または４に記載の画像合成方法。5. In a case where the number of cameras is two, in an output image, a pixel of these two bird's-eye images is set to one pixel in an overlapping area of a bird's-eye image obtained by converting each input image captured by each of these cameras. The image synthesizing method according to claim 3, wherein the images are arranged alternately.
画像を合成して一つの出力画像とする画像合成装置であ
って、 複数のカメラが撮影したそれぞれの入力画像の画像デー
タを記憶する画像データ記憶手段と、 上記入力画像の画素の座標を上記出力画像の画素の座標
に変換し、この変換の際に、上記出力画像における複数
の上記入力画像の重なり領域では、これら複数の入力画
像の画素を一定の規則に従って交互に配置するように、
上記入力画像と上記出力画像との画素の対応関係が記録
されたルックアップテーブルを格納するルックアップテ
ーブル記憶手段と、 上記画像データ記憶手段に記憶された複数の上記入力画
像の上記画像データから、上記ルックアップテーブルに
基づき一つの出力画像を合成する画像合成手段と、 を有して構成されたことを特徴とする画像合成装置。6. An image synthesizing apparatus for synthesizing each input image photographed by a plurality of cameras into one output image, the image data storing image data of each input image photographed by a plurality of cameras. Storage means for converting the coordinates of the pixels of the input image into the coordinates of the pixels of the output image, and at the time of this conversion, in the overlapping area of the plurality of input images in the output image, Are arranged alternately according to certain rules,
Lookup table storage means for storing a lookup table in which the correspondence between pixels of the input image and the output image is recorded, and from the image data of the plurality of input images stored in the image data storage means, An image synthesizing device, comprising: image synthesizing means for synthesizing one output image based on the lookup table.
テーブル記憶手段におけるルックアップテーブルには、
出力画像において、上記各カメラが撮影したそれぞれの
入力画像の重なる領域で、これら２つの入力画像の画素
を１画素づつ交互に配置するように、上記入力画像と上
記出力画像との画素の対応関係が記録されたことを特徴
とする請求項６に記載の画像合成装置。7. When the number of cameras is two, the look-up table in the look-up table storage means includes:
In the output image, the correspondence relationship between the pixels of the input image and the output image is arranged such that the pixels of the two input images are alternately arranged one by one in an overlapping area of the respective input images photographed by the cameras. The image synthesizing apparatus according to claim 6, wherein is recorded.
画像を俯瞰画像に変換し、これら複数の俯瞰画像を合成
して一つの出力画像とする画像合成装置であって、 複数のカメラが撮影したそれぞれの入力画像の画像デー
タを記憶する画像データ記憶手段と、 上記入力画像の画素の座標を、上記俯瞰画像の画素の座
標を経て上記出力画像の画素の座標に変換し、この変換
の際に、上記出力画像における複数の上記俯瞰画像が重
なる領域では、これら複数の俯瞰画像の画素を一定の規
則に従って交互に配置するように、上記入力画像と上記
俯瞰画像と上記出力画像との画素の対応関係が記録され
たルックアップテーブルを格納するルックアップテーブ
ル記憶手段と、 上記画像データ記憶手段に記憶された複数の上記入力画
像の上記画像データから、上記ルックアップテーブルに
基づき一つの出力画像を合成する画像合成手段と、 を有して構成されたことを特徴とする画像合成装置。8. An image synthesizing apparatus which converts each input image photographed by a plurality of cameras into a bird's-eye view image, combines these plural bird's-eye view images into one output image, and comprises: Image data storage means for storing image data of each input image, and converting the coordinates of the pixels of the input image into the coordinates of the pixels of the output image via the coordinates of the pixels of the overhead view image. In an area where the plurality of overhead images in the output image overlap, the correspondence between the pixels of the input image, the overhead image, and the output image is set such that the pixels of the plurality of overhead images are alternately arranged according to a certain rule. A look-up table storing means for storing a look-up table in which a relationship is recorded; and a plurality of input images stored in the image data storing means. And an image synthesizing unit that synthesizes one output image based on the look-up table.
は、ルックアップテーブル記憶手段におけるルックアッ
プテーブルに記憶された俯瞰画像は、上記カメラが撮影
したそれぞれの入力画像から変換された車両周囲の状況
を見下ろす俯瞰画像であることを特徴とする請求項８に
記載の画像合成装置。9. When a plurality of cameras are mounted on a vehicle, a bird's-eye view image stored in a look-up table in a look-up table storage means is provided around the vehicle converted from each input image taken by the camera. 9. The image synthesizing apparatus according to claim 8, wherein the image is an overhead image overlooking the situation.
プテーブル記憶手段におけるルックアップテーブルに
は、出力画像において、これらの各カメラが撮影したそ
れぞれの入力画像を変換した俯瞰画像の重なる領域で、
これら２つの俯瞰画像の画素を１画素づつ交互に配置す
るように、上記入力画像と上記俯瞰画像と上記出力画像
との画素の対応関係が記録されたことを特徴とする請求
項８または９に記載の画像合成装置。10. When the number of cameras is two, the look-up table in the look-up table storage means includes, in the output image, an overlapping area of a bird's-eye view image obtained by converting each input image taken by each of these cameras.
10. The pixel correspondence between the input image, the overhead image, and the output image is recorded such that the pixels of the two overhead images are alternately arranged one by one. The image synthesizing device according to the above.
データを記憶する画像データ記憶手段と、 複数の上記入力画像の画素の座標を、車両周囲の状況を
見下ろす複数の俯瞰画像の画素の座標に変換し、これら
の俯瞰画像の画素の座標を一つの出力画像の画素の座標
に変換し、この変換の際に、上記出力画像における複数
の上記俯瞰画像が重なる領域では、これら複数の俯瞰画
像の画素を一定の規則に従って交互に配置するように、
上記入力画像と上記俯瞰画像と上記出力画像との画素の
対応関係が記録されたルックアップテーブルを格納する
ルックアップテーブル記憶手段と、 上記画像データ記憶手段に記憶された複数の上記入力画
像の上記画像データから、上記ルックアップテーブルに
基づき一つの出力画像を合成する画像合成手段と、 この画像合成手段にて合成された出力画像を表示する画
像出力手段と、 を有して構成されたことを特徴とする車両周囲状況モニ
タ装置。11. A plurality of cameras mounted on a vehicle, image data storage means for storing image data of respective input images photographed by the plurality of cameras, and coordinates of pixels of the plurality of input images stored in the vehicle. The coordinates of the pixels of the plurality of birds-eye-view images overlooking the surrounding situation are converted to the coordinates of the pixels of these birds-eye-view images into the coordinates of the pixels of one output image. In an area where the overhead image is overlapped, pixels of the plurality of overhead images are alternately arranged according to a certain rule,
Look-up table storage means for storing a look-up table in which the correspondence between pixels of the input image, the overhead image, and the output image is recorded, and a plurality of the input images stored in the image data storage means. Image combining means for combining one output image from image data based on the look-up table, and image output means for displaying the output image combined by the image combining means. Characteristic vehicle surrounding situation monitoring device.
プテーブル記憶手段におけるルックアップテーブルに
は、出力画像において、これらの各カメラが撮影したそ
れぞれの入力画像を変換した俯瞰画像の重なる領域で、
これら２つの俯瞰画像の画素を１画素づつ交互に配置す
るように、上記入力画像と上記俯瞰画像と上記出力画像
との画素の対応関係が記録されたことを特徴とする請求
項１１に記載の車両周囲状況モニタ装置。12. When there are two cameras, the look-up table in the look-up table storage means includes, in an output image, an area where an overhead image obtained by converting each input image captured by each of these cameras is overlapped.
The pixel correspondence between the input image, the overhead image, and the output image is recorded such that the pixels of the two overhead images are alternately arranged one by one. Monitoring system for vehicle surroundings.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001161755A JP2002354468A (en) | 2001-05-30 | 2001-05-30 | Picture compositing method and picture compositing device and vehicle surrounding situation monitor device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001161755A JP2002354468A (en) | 2001-05-30 | 2001-05-30 | Picture compositing method and picture compositing device and vehicle surrounding situation monitor device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002354468A true JP2002354468A (en) | 2002-12-06 |
Family
ID=19004982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001161755A Pending JP2002354468A (en) | 2001-05-30 | 2001-05-30 | Picture compositing method and picture compositing device and vehicle surrounding situation monitor device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002354468A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006131166A (en) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | Drive supporting device |
| CN1294756C (en) * | 2003-10-10 | 2007-01-10 | 乐金电子(中国)研究开发中心有限公司 | Dead zone monitoring device based on mobile communication terminal |
| JP2007038749A (en) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and vehicle periphery monitoring method |
| JP2007104583A (en) * | 2005-10-07 | 2007-04-19 | Fujifilm Corp | Photographing apparatus |
| JP2007109166A (en) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | Driving assistance system |
| JP2007226300A (en) * | 2006-02-21 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
| JP2008153882A (en) * | 2006-12-15 | 2008-07-03 | Clarion Co Ltd | Imaging and displaying system |
| DE102008028303A1 (en) | 2007-06-15 | 2009-01-08 | Denso Corp., Kariya-shi | Display system and program |
| WO2012066943A1 (en) * | 2010-11-16 | 2012-05-24 | 住友重機械工業株式会社 | Image generating device and operation assistance system |
| JP2012514558A (en) * | 2009-01-06 | 2012-06-28 | イメージネクスト シーオー エルティディ | Peripheral image generation method and apparatus |
| JP2013145470A (en) * | 2012-01-13 | 2013-07-25 | Sumitomo Heavy Ind Ltd | Image generation device and operation support system |
| JP2013205956A (en) * | 2012-03-27 | 2013-10-07 | Sumitomo Heavy Ind Ltd | Image generation method, image generation device and operation support system |
| US8717196B2 (en) | 2009-02-03 | 2014-05-06 | Denso Corporation | Display apparatus for vehicle |
| WO2014069471A1 (en) | 2012-10-31 | 2014-05-08 | クラリオン株式会社 | Image processing system and image processing method |
| US8749632B2 (en) | 2010-03-31 | 2014-06-10 | Fujitsu Ten Limited | Image generation apparatus |
| US8780202B2 (en) | 2010-03-25 | 2014-07-15 | Fujitsu Ten Limited | Image generation apparatus |
| EP3076363A1 (en) * | 2015-03-30 | 2016-10-05 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer and a method for synthesizing an image |
| EP3086279A1 (en) * | 2015-04-24 | 2016-10-26 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a driver assisting system |
| CN107492084A (en) * | 2017-07-06 | 2017-12-19 | 哈尔滨理工大学 | Typical packed cell core image combining method based on randomness |
-
2001
- 2001-05-30 JP JP2001161755A patent/JP2002354468A/en active Pending
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1294756C (en) * | 2003-10-10 | 2007-01-10 | 乐金电子(中国)研究开发中心有限公司 | Dead zone monitoring device based on mobile communication terminal |
| JP2006131166A (en) * | 2004-11-09 | 2006-05-25 | Alpine Electronics Inc | Drive supporting device |
| JP4573242B2 (en) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | Driving assistance device |
| JP2007038749A (en) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and vehicle periphery monitoring method |
| JP4606989B2 (en) * | 2005-10-07 | 2011-01-05 | 富士フイルム株式会社 | Imaging device |
| JP2007104583A (en) * | 2005-10-07 | 2007-04-19 | Fujifilm Corp | Photographing apparatus |
| JP2007109166A (en) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | Driving assistance system |
| JP2007226300A (en) * | 2006-02-21 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
| JP2008153882A (en) * | 2006-12-15 | 2008-07-03 | Clarion Co Ltd | Imaging and displaying system |
| US7898434B2 (en) | 2007-06-15 | 2011-03-01 | Denso Corporation | Display system and program |
| DE102008028303A1 (en) | 2007-06-15 | 2009-01-08 | Denso Corp., Kariya-shi | Display system and program |
| JP2012514558A (en) * | 2009-01-06 | 2012-06-28 | イメージネクスト シーオー エルティディ | Peripheral image generation method and apparatus |
| US8717196B2 (en) | 2009-02-03 | 2014-05-06 | Denso Corporation | Display apparatus for vehicle |
| US8780202B2 (en) | 2010-03-25 | 2014-07-15 | Fujitsu Ten Limited | Image generation apparatus |
| US8749632B2 (en) | 2010-03-31 | 2014-06-10 | Fujitsu Ten Limited | Image generation apparatus |
| US9432634B2 (en) | 2010-11-16 | 2016-08-30 | Sumitomo Heavy Industries, Ltd. | Image generation device and operation support system |
| WO2012066943A1 (en) * | 2010-11-16 | 2012-05-24 | 住友重機械工業株式会社 | Image generating device and operation assistance system |
| JP2012109741A (en) * | 2010-11-16 | 2012-06-07 | Sumitomo Heavy Ind Ltd | Image generating apparatus and operation supporting system |
| CN103155551A (en) * | 2010-11-16 | 2013-06-12 | 住友重机械工业株式会社 | Image generating device and operation assistance system |
| EP2642754A4 (en) * | 2010-11-16 | 2016-12-07 | Sumitomo Heavy Industries | Image generating device and operation assistance system |
| KR101407556B1 (en) | 2010-11-16 | 2014-06-13 | 스미도모쥬기가이고교 가부시키가이샤 | Image Generating Device and Operation Assistance System |
| JP2013145470A (en) * | 2012-01-13 | 2013-07-25 | Sumitomo Heavy Ind Ltd | Image generation device and operation support system |
| JP2013205956A (en) * | 2012-03-27 | 2013-10-07 | Sumitomo Heavy Ind Ltd | Image generation method, image generation device and operation support system |
| US9485438B2 (en) | 2012-10-31 | 2016-11-01 | Clarion Co., Ltd. | Image processing system with image conversion unit that composites overhead view images and image processing method |
| WO2014069471A1 (en) | 2012-10-31 | 2014-05-08 | クラリオン株式会社 | Image processing system and image processing method |
| EP3076363A1 (en) * | 2015-03-30 | 2016-10-05 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer and a method for synthesizing an image |
| WO2016156118A1 (en) * | 2015-03-30 | 2016-10-06 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | Image synthesizer and a method for synthesizing an image |
| CN107430764A (en) * | 2015-03-30 | 2017-12-01 | 克诺尔商用车制动***有限公司 | Image synthesizer and the method for composograph |
| US10552943B2 (en) | 2015-03-30 | 2020-02-04 | Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh | Image synthesizer and a method for synthesizing an image |
| CN107430764B (en) * | 2015-03-30 | 2020-11-27 | 克诺尔商用车制动***有限公司 | Image synthesizing apparatus and method for synthesizing image |
| EP3086279A1 (en) * | 2015-04-24 | 2016-10-26 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a driver assisting system |
| WO2016170164A1 (en) * | 2015-04-24 | 2016-10-27 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a driver assisting system |
| US10614552B2 (en) | 2015-04-24 | 2020-04-07 | Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh | Image synthesizer for a driver assisting system |
| CN107492084A (en) * | 2017-07-06 | 2017-12-19 | 哈尔滨理工大学 | Typical packed cell core image combining method based on randomness |
| CN107492084B (en) * | 2017-07-06 | 2021-06-25 | 哈尔滨理工大学 | Typical clustering cell nucleus image synthesis method based on randomness |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002354468A (en) | Picture compositing method and picture compositing device and vehicle surrounding situation monitor device | |
| US9398214B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
| US9602700B2 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
| US8681228B2 (en) | System and method for displaying an image indicating a positional relation between partially overlapping images | |
| EP2059046B1 (en) | Method and system for combining videos for display in real-time | |
| JP3269056B2 (en) | Monitoring system | |
| JP2002019556A (en) | Monitoring system | |
| US20070285549A1 (en) | Image processing system and method | |
| US20050007453A1 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
| KR101778744B1 (en) | Monitoring system through synthesis of multiple camera inputs | |
| JP3247307B2 (en) | Information provision system | |
| JP2011035638A (en) | Virtual reality space video production system | |
| WO2018087856A1 (en) | Image synthesis device and image synthesis method | |
| JPH11164292A (en) | Image generating device, image presentation device, image generating method and image synthetic method | |
| JP2009065519A (en) | Image processing apparatus | |
| KR20170139816A (en) | Image synthesis method in real time | |
| JPH1042307A (en) | Key system and synthetic image forming method | |
| JP2008153882A (en) | Imaging and displaying system | |
| JPH10304227A (en) | Electronic still camera | |
| JP2010147523A (en) | Device for generating bird's-eye view image around vehicle | |
| KR20200052846A (en) | Data processing systems | |
| JP2002271691A (en) | Image processing method, image processing unit, storage medium and program | |
| JP3066594U (en) | Image conversion device | |
| JP7038935B2 (en) | Image processing device, image processing method, and image processing program | |
| JP2011061588A (en) | Image processor, image processing method, and on-vehicle camera device |