JP2010252015A - Image composition device, image composition method and program - Google Patents
Image composition device, image composition method and program Download PDFInfo
- Publication number
- JP2010252015A JP2010252015A JP2009098771A JP2009098771A JP2010252015A JP 2010252015 A JP2010252015 A JP 2010252015A JP 2009098771 A JP2009098771 A JP 2009098771A JP 2009098771 A JP2009098771 A JP 2009098771A JP 2010252015 A JP2010252015 A JP 2010252015A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- correction value
- images
- camera images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載された複数のカメラにて撮像された画像を合成して表示する車載カメラの画像合成装置および画像合成方法に関し、特に車両周囲の画像を視認しやすく合成する技術に関する。 The present invention relates to an on-vehicle camera image composition device and an image composition method for compositing and displaying images captured by a plurality of cameras mounted on a vehicle, and more particularly to a technique for compositing images around a vehicle in an easy-to-view manner.
近年、車両に取り付けられた複数台のカメラの画像を、車両上方から見下ろした視点等の所定の仮想視点から見た画像に変形・合成し、リアルタイムで画面に表示する視点変換技術を用いた画像合成装置が開発されている。運転者は、車両周辺の状況を画面で確認でき、事故を回避したり、駐車場等での運転操作を容易にすることができる。 In recent years, images using viewpoint conversion technology that transforms and synthesizes images from multiple cameras attached to a vehicle into an image viewed from a predetermined virtual viewpoint such as a viewpoint looking down from above the vehicle, and displays it on the screen in real time A synthesizer has been developed. The driver can check the situation around the vehicle on the screen, can avoid an accident, and can easily perform a driving operation in a parking lot or the like.
図５（ａ）および図５（ｂ）は、このような画像合成装置のカメラの搭載位置を示す図である。図５（ａ）は、カメラ２１〜２５を搭載した自動車の上面図であり、図５（ｂ）はその左側面図である。図５（ａ）および図５（ｂ）に示す自動車には、５台のカメラ２１〜２５が搭載されている。カメラ２１は車両の真後ろを撮像し、車両の左サイドの前後に取り付けられたカメラ２２、カメラ２３が車両の左サイド斜め後方を撮像し、車両の右サイドの前後に取り付けられたカメラ２４、カメラ２５が車両の右サイド斜め後方を撮像する。 FIG. 5A and FIG. 5B are diagrams showing the camera mounting positions of such an image composition device. FIG. 5A is a top view of an automobile on which the cameras 21 to 25 are mounted, and FIG. 5B is a left side view thereof. In the automobile shown in FIGS. 5A and 5B, five cameras 21 to 25 are mounted. The camera 21 captures an image directly behind the vehicle, the camera 22 attached to the front and rear of the left side of the vehicle, and the camera 23 images the oblique rear of the left side of the vehicle and the camera 24 attached to the front and rear of the right side of the vehicle. 25 images the rear right side of the vehicle.
図６は、図５（ａ）および図５（ｂ）に示す５台のカメラ２１〜２５の各撮像画像とその合成画像を示す図である。この例では、車両が駐車場にバックするときの画像を示している。運転者が５台のカメラ２１〜２５の撮像画像を順番に表示画面で監視することは困難である。図６に示すように、５台のカメラ２１〜２５の撮像画像を、車両の上方位置の仮想視点から見下ろした画像に変換して合成し、画面に表示することにより、車両の周辺を一度に監視でき、状況を容易に把握できる。なお、図６に示す合成画像において、自分の車両を表す画像は、カメラ画像の合成ではなく（カメラに写らないため）、イラストデータの画像である。 FIG. 6 is a diagram illustrating captured images of the five cameras 21 to 25 illustrated in FIGS. 5A and 5B and their combined images. In this example, an image when the vehicle goes back to the parking lot is shown. It is difficult for the driver to monitor the captured images of the five cameras 21 to 25 in order on the display screen. As shown in FIG. 6, the captured images of the five cameras 21 to 25 are converted into an image looked down from a virtual viewpoint at an upper position of the vehicle, synthesized, and displayed on the screen, so that the periphery of the vehicle can be seen at once. It can be monitored and the situation can be easily grasped. In the composite image shown in FIG. 6, the image representing the vehicle is not a composite of the camera image (because it is not reflected in the camera) but an image of illustration data.
ところが、複数のカメラ２１〜２５の撮像画像を合成して表示装置の画面に表示する場合、複数のカメラが同一規格であっても、輝度や色バランス等をカメラ毎に独立に制御しているため、カメラ２１〜２５の撮像範囲の境界部においてカメラ間で輝度や色バランスの差ができてしまい、非常に見づらい画像になってしまうという問題があった。 However, when the captured images of the plurality of cameras 21 to 25 are combined and displayed on the screen of the display device, the brightness, color balance, and the like are independently controlled for each camera even if the plurality of cameras have the same standard. For this reason, there is a problem in that differences in luminance and color balance between the cameras at the boundaries of the imaging ranges of the cameras 21 to 25 occur, resulting in an image that is very difficult to see.
この問題を解決するため、以下の方法が提案されている。複数のカメラの配置を、それぞれの撮像範囲が境界部において重複するような配置とする。カメラの撮像画像を合成する際に、画像の重なった部分の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行う。 In order to solve this problem, the following methods have been proposed. The plurality of cameras are arranged such that the respective imaging ranges overlap at the boundary. When combining the captured images of the cameras, correction is performed with reference to the image level of the overlapping portion of the images so that the luminance and color balance between the cameras match.
特許文献１は、補正方法の一例を開示している。第１のカメラの画像の輝度の平均値、第１のカメラと隣接して配置された第２のカメラの画像の輝度の平均値、この２つの映像の重複部の輝度のそれぞれの平均値を計測する。そして、重複部の輝度が等しく、かつ、画面全体の輝度の平均値があらかじめ設定した目標値になるように、各カメラ画像に対する補正値を算出し、合成画像に対して補正を行う。なお、特許文献１では、輝度のみを補正している。 Patent Document 1 discloses an example of a correction method. The average value of the brightness of the image of the first camera, the average value of the brightness of the image of the second camera arranged adjacent to the first camera, and the average value of the brightness of the overlapping portion of these two images measure. Then, a correction value for each camera image is calculated so that the luminance values of the overlapping portions are equal, and the average value of the luminance of the entire screen becomes a preset target value, and the combined image is corrected. In Patent Document 1, only the luminance is corrected.
特許文献１に記載された方法で、あるフレームの映像の補正値を求めるためには、フレーム全体を走査して、画像レベルを計測する必要がある。リアルタイムで動作する画像合成装置においては、補正値の算出のためにフレーム全体を走査する時間をかけることができない。従って、時刻Ｎ＋１のフレームに適用される補正値は、時刻Ｎのフレームで算出した値から算出した補正値である。本来は、時刻Ｎのフレームから求めた補正値は時刻Ｎのフレームに適用すべきであるが、実際には時刻Ｎ＋１のフレームに適用しているため、補正値を求めるためのフレーム（ここでは時刻Ｎのフレーム）と補正対象のフレーム（ここでは時刻Ｎ＋１のフレーム）とが一致しない（以下、「補正値適用ズレ」という）。この補正値適用ズレによる弊害としては、被写体の明るさが変動したときに、画面がちらついて、カメラ間の明るさの差がかえって目立ってしまう点が主に挙げられる。 In order to obtain the correction value of the video of a certain frame by the method described in Patent Document 1, it is necessary to scan the entire frame and measure the image level. In an image synthesizing apparatus that operates in real time, it is not possible to spend time for scanning the entire frame in order to calculate a correction value. Accordingly, the correction value applied to the frame at time N + 1 is a correction value calculated from the value calculated at the frame at time N. Originally, the correction value obtained from the frame at time N should be applied to the frame at time N. However, since it is actually applied to the frame at time N + 1, the frame for obtaining the correction value (here, time N frames) and the frame to be corrected (here, the frame at time N + 1) do not match (hereinafter referred to as “correction value application deviation”). The adverse effect of this correction value application shift is mainly that when the brightness of the subject fluctuates, the screen flickers and the difference in brightness between the cameras changes.
この補正値適用ズレの問題に対して、特許文献２に記載の画像比較装置は、映像１フレーム分のフレームメモリを持ち、補正値を適用する映像側を１フレーム遅延させることによって、補正値適用ズレをなくしている。 With respect to the problem of correction value application deviation, the image comparison device described in Patent Document 2 has a frame memory for one frame of video, and applies a correction value by delaying the video side to which the correction value is applied by one frame. Misalignment is lost.
しかしながら、フレームメモリを必要とすることはコスト面で不利であり、また、入力された画像が、システムディレイに加えて、さらに１フレーム遅延する。従って、リアルタイム性を求められる車載用途において望ましくない。 However, the need for a frame memory is disadvantageous in terms of cost, and the input image is further delayed by one frame in addition to the system delay. Therefore, it is not desirable for in-vehicle applications that require real-time performance.
本発明は、上記背景に鑑み、フレームメモリを要することなく補正値適用ズレの弊害を防ぐことができる画像合成装置を提供することを目的とする。 In view of the above background, an object of the present invention is to provide an image composition device that can prevent the adverse effect of correction value application deviation without requiring a frame memory.
本発明の画像合成装置は、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する画像合成装置であって、前記カメラから入力される複数のカメラ画像を記憶する画像メモリと、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出す第１の画像抽出部と、読み出した画像の画像レベルを計測する画像レベル計測部と、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出する補正値算出部と、前記画像メモリから前記カメラ画像を読み出す第２の画像抽出部と、読み出したカメラ画像を前記補正値を用いて補正する画像補正部と、前記補正後のカメラ画像を合成する画像合成部とを備え、前記補正値算出部による補正値の算出を、前記第２の画像抽出部によって画像を読み出す映像有効区間の直前の垂直ブランキング区間に行う構成を有する。 An image composition apparatus according to the present invention is an image composition apparatus that combines a plurality of images captured by a plurality of cameras arranged so that a part of each imaging range overlaps, and a plurality of images input from the cameras. An image memory that stores a camera image, a first image extraction unit that reads out at least some of the overlapping portions of a plurality of camera images from the image memory, and an image level that measures an image level of the read image A correction value calculating unit that calculates a correction value for correcting a plurality of camera images so that the image levels of the plurality of camera images in the overlapping portion are the same based on the measurement unit, and the image level; A second image extraction unit that reads the camera image from an image memory; an image correction unit that corrects the read camera image using the correction value; and the corrected camera image. And an image synthesizing unit for synthesizing, has a configuration in which the calculation of the correction value by the correction value calculation unit performs the vertical blanking interval immediately before the effective image section for reading an image by the second image extraction unit.
この構成により、複数のカメラ画像の重複部分だけから補正値を求めるので、垂直ブランキング区間に補正値を求めることができ、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用できる。これにより、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。 With this configuration, the correction value is obtained only from the overlapping portion of a plurality of camera images, so the correction value can be obtained in the vertical blanking interval, and correction is performed on the camera image read in the video effective interval following the vertical blanking interval. The value can be applied. Thereby, the image frame for obtaining the correction value can be matched with the image frame to be corrected.
本発明の画像合成装置は、前記重複部分に対応する前記カメラ画像の座標を記憶した重複部分抽出用テーブルを備え、前記第１の画像抽出部は、前記重複部分抽出用テーブルに記憶された座標から重複部分の画像のデータを読み出す構成を有する。 The image composition device of the present invention includes an overlapping part extraction table storing coordinates of the camera image corresponding to the overlapping part, and the first image extraction unit stores the coordinates stored in the overlapping part extraction table. The image data of the overlapping portion is read from the image data.
この構成により、画像を解析して重複部分を判断することなく、重複部分の画像を読み出すことができる。 With this configuration, it is possible to read the image of the overlapping portion without analyzing the image and determining the overlapping portion.
本発明の画像合成装置は、前記カメラ画像の座標と合成画像の座標との対応関係を記憶した合成画像抽出用テーブルを備え、前記第２の画像抽出部は、前記合成画像抽出用テーブルに記憶されたカメラ画像の座標から画像のデータを読み出し、前記画像合成部は、読み出した画像のデータを対応する合成画像の座標にマッピングまたは合成してマッピングする構成を有する。 The image composition apparatus of the present invention includes a composite image extraction table that stores a correspondence relationship between the coordinates of the camera image and the coordinates of the composite image, and the second image extraction unit stores the composite image in the composite image extraction table. The image data is read out from the coordinates of the camera image thus read out, and the image composition unit is configured to map the read image data to the coordinates of the corresponding composite image or by combining them.
この構成により、複数のカメラ画像を容易に合成することができる。 With this configuration, a plurality of camera images can be easily combined.
本発明の画像合成方法は、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する画像合成方法であって、前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、読み出した画像の画像レベルを計測するステップと、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、読み出したカメラ画像を前記補正値を用いて補正するステップと、前記補正後のカメラ画像を合成するステップとを備えた構成を有する。 The image composition method of the present invention is an image composition method for compositing a plurality of images captured by a plurality of cameras arranged so that a part of the imaging range of each other overlaps, and a plurality of images input from the cameras. Storing a camera image in an image memory; reading out at least a part of an overlapping portion of a plurality of camera images from the image memory in a vertical blanking interval; and measuring an image level of the read image And a step of calculating a correction value for correcting a plurality of camera images based on the image level so that the image levels of the plurality of camera images in the overlapping portion are the same, and the vertical blanking. A step of reading the camera image from the image memory in a video valid section following the section, and correcting the read camera image It has a step of correcting, the configuration that includes a step of combining the camera image after the correction using the.
この構成により、上記した画像合成装置と同様に、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。また、上記した画像合成装置の各種の構成を本発明の画像合成方法に適用することができる。 With this configuration, the image frame for obtaining the correction value and the image frame to be corrected can be matched with each other as in the above-described image composition device. Further, various configurations of the above-described image composition apparatus can be applied to the image composition method of the present invention.
本発明のプログラムは、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成するためのプログラムであって、コンピュータに、前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、読み出した画像の画像レベルを計測するステップと、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、読み出したカメラ画像を前記補正値を用いて補正するステップと、前記補正後のカメラ画像を合成するステップとを実行させる。 The program of the present invention is a program for synthesizing a plurality of images captured by a plurality of cameras arranged so that a part of each imaging range overlaps, and a plurality of images input to the computer from the cameras Storing in the image memory, reading out at least some of the overlapping portions of the plurality of camera images from the image memory in the vertical blanking interval, and determining the image level of the read image A step of measuring, a step of calculating a correction value for correcting a plurality of camera images so that the image levels of the plurality of camera images in the overlapped portion are the same based on the image level, and the vertical block A step of reading the camera image from the image memory in a video valid section following the ranking section; And correcting using the La image the correction value, and a step of synthesizing the camera image after the correction.
この構成により、上記した画像合成装置と同様に、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。また、上記した画像合成装置の各種の構成を本発明のプログラムに適用することができる。 With this configuration, the image frame for obtaining the correction value and the image frame to be corrected can be matched with each other as in the above-described image composition device. Various configurations of the above-described image composition apparatus can be applied to the program of the present invention.
本発明によれば、垂直ブランキング区間に補正値を求め、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用するので、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができるというすぐれた効果を有する。 According to the present invention, the correction value is obtained in the vertical blanking interval, and the correction value is applied to the camera image read out in the video effective interval following the vertical blanking interval. It has an excellent effect that the target image frame can be matched.
以下、本発明の実施の形態の画像合成装置について、図面を参照しながら説明する。本実施の形態の画像合成装置は、図６に示したような複数の車載カメラの撮像画像を、視点変換、合成して表示装置に表示させる装置である。 Hereinafter, an image composition device according to an embodiment of the present invention will be described with reference to the drawings. The image composition device according to the present embodiment is a device that converts the captured images of a plurality of in-vehicle cameras as shown in FIG.
図１は、本発明の実施の形態の画像合成装置１の構成を示す図である。画像合成装置１には、ｎ台の車載カメラ２と表示装置３が接続されている。ｎ台の車載カメラ２は、互いに隣接する車載カメラ２と撮像範囲の一部が重複するように配置されている。 FIG. 1 is a diagram showing a configuration of an image composition device 1 according to an embodiment of the present invention. The image composition apparatus 1 is connected with n in-vehicle cameras 2 and a display device 3. The n in-vehicle cameras 2 are arranged so that a part of the imaging range overlaps with the in-vehicle cameras 2 adjacent to each other.
画像合成装置１は、車載カメラ２から入力されたカメラ画像を記憶する画像メモリ１１と、重複部分に対応するカメラ画像の座標を記憶した重複部分抽出用テーブル１６と、カメラ画像の座標と合成画像の座標の対応関係を記憶した合成画像抽出用テーブル１７と、２つのテーブル１６，１７に基づき画像メモリ１１から、重複部分の画像または合成用画像を抽出する画像抽出部１２と、画像メモリ１１から抽出された重複部分のデータに基づいて補正値を算出する補正信号発生部１３と、補正信号発生部１３が算出した画像信号補正値に基づいて画像データの補正を行う画像補正部１４と、補正後の画像データを合成し、合成後の画像を表示装置３に表示する画像合成部１５とを備えている。なお、画像抽出部１２は、請求項に記載の「第１の画像抽出部」、「第２の画像抽出部」の機能を兼ね備えている。補正信号発生部１３は、画像レベル計測部１８と、補正値算出部１９とを有している。画像抽出部１２は、後述する重複部分抽出用テーブル１６、合成画像抽出用テーブル１７にて指定される座標値と、読み出しであることを示す制御信号を画像メモリ１１に送り、画像メモリ１１から当該座標の画像データを読み出す。 The image composition apparatus 1 includes an image memory 11 that stores a camera image input from the in-vehicle camera 2, an overlapping part extraction table 16 that stores the coordinates of the camera image corresponding to the overlapping part, the coordinates of the camera image, and the composite image From the composite image extraction table 17 storing the correspondence relationship of the coordinates of the two, from the image memory 11 based on the two tables 16, 17, from the image extraction unit 12 that extracts the overlapping portion image or the composite image, and from the image memory 11 A correction signal generator 13 that calculates a correction value based on the extracted data of the overlapping portion, an image correction unit 14 that corrects image data based on the image signal correction value calculated by the correction signal generator 13, and a correction An image composition unit 15 that composes the later image data and displays the synthesized image on the display device 3 is provided. The image extraction unit 12 also has the functions of the “first image extraction unit” and the “second image extraction unit” recited in the claims. The correction signal generation unit 13 includes an image level measurement unit 18 and a correction value calculation unit 19. The image extraction unit 12 sends a coordinate value specified in an overlapping part extraction table 16 and a composite image extraction table 17 (to be described later) and a control signal indicating reading to the image memory 11. Read the coordinate image data.
図２（ａ）〜図２（ｃ）は、合成画像抽出用テーブル１７と、重複部分抽出用テーブル１６の詳細について説明するための図である。図２（ａ）は本実施の形態における合成画像の一例を示す図であり、図５（ａ）、図５（ｂ）に示すような５台のカメラで撮像した撮像画像を変形、合成して得られる１フレーム分の合成画像の例である。 FIG. 2A to FIG. 2C are diagrams for explaining the details of the composite image extraction table 17 and the overlapped part extraction table 16. FIG. 2A is a diagram illustrating an example of a composite image in the present embodiment. The captured images captured by the five cameras as illustrated in FIGS. 5A and 5B are deformed and combined. This is an example of a composite image for one frame obtained in this way.
図２（ｂ）は、合成画像抽出用テーブルの例を示す図である。合成画像抽出用テーブル１７は、合成画像の画素座標と１対１に対応している。合成画像抽出用テーブル１７には、出力画像の各座標において、どのカメラ画像のどの座標と、どのカメラ画像のどの座標を合成するかの対応が記述されている。各座標のテーブルとして、その座標に対応する合成画像画素を生成するためのカメラ画像のカメラ番号および、画素座標を示す２次元配列が表現されている。その座標が隣接するカメラとの重複部分の場合は、各々のカメラ番号、および、画素座標を示す２次元配列が表現されている。また、イラスト重畳かどうかの情報も表現されている。図２（ｂ）に示す例では、合成画像抽出用テーブルの座標（ｘ１，ｙ１）に「イラスト：ＮＯ、重複：ＮＯ、カメラ番号：２、座標：（Ｘａ，Ｙｂ）」の情報が格納されている。これは、合成画像の座標（ｘ１，ｙ１）の画素は、カメラ２の画像の座標（Ｘａ，Ｙｂ）の画素によって生成される、ということを示している。また、合成画像抽出用テーブルの座標（ｘ２，ｙ１）に、「イラスト：ＮＯ、重複：ＹＥＳ、カメラ番号：２、座標：（Ｘｃ，Ｙｄ）、カメラ番号：１、座標：（Ｘｅ，Ｙｆ）、重み付け：α」の情報が格納されている。これは、合成画像の座標（ｘ２，ｙ１）の画素は、カメラ２の画像の座標（Ｘｃ，Ｙｄ）と、カメラ１の画像の座標（Ｘｅ，Ｙｆ）の重複部分であり、それぞれの画素値をα：（１−α）の重み付けでブレンドして生成される、ということを示している。 FIG. 2B is a diagram illustrating an example of the composite image extraction table. The composite image extraction table 17 has a one-to-one correspondence with the pixel coordinates of the composite image. The composite image extraction table 17 describes the correspondence between which coordinate of which camera image and which coordinate of which camera image are combined in each coordinate of the output image. As a table of each coordinate, a camera number of a camera image for generating a composite image pixel corresponding to the coordinate and a two-dimensional array indicating the pixel coordinate are expressed. In the case where the coordinate is an overlapping portion with an adjacent camera, a two-dimensional array indicating each camera number and pixel coordinates is expressed. Information about whether or not illustrations are superimposed is also expressed. In the example shown in FIG. 2B, information of “illustration: NO, duplication: NO, camera number: 2, coordinates: (Xa, Yb)” is stored in the coordinates (x1, y1) of the composite image extraction table. ing. This indicates that the pixel at the coordinate (x1, y1) of the composite image is generated by the pixel at the coordinate (Xa, Yb) of the image of the camera 2. Further, the coordinates (x2, y1) of the composite image extraction table include “illustration: NO, duplication: YES, camera number: 2, coordinates: (Xc, Yd), camera number: 1, coordinates: (Xe, Yf). , Weighting: α ”is stored. This is because the pixel of the coordinate (x2, y1) of the composite image is an overlapping portion of the coordinate (Xc, Yd) of the image of the camera 2 and the coordinate (Xe, Yf) of the image of the camera 1, and each pixel value Is generated by blending with a weight of α: (1-α).
図２（ｃ）は、重複部分抽出用テーブル１６の一例を示す図である。この重複部分抽出用テーブル１６には、どのカメラ画像のどの座標と、どのカメラ画像のどの座標が重複しているかの対応が記述されている。重複部分抽出用テーブル１６には、合成画像中の隣接するカメラ画像の重複部分の全部、または、一部における、各々のカメラのカメラ番号、および、画素座標を示す２次元配列が記憶されている。図２（ｃ）に示す例では、Ｍ番目のデータは、「カメラ番号：１、座標：（Ｘｇ，Ｙｈ）、カメラ番号：２、座標：（Ｘｉ，Ｙｊ）」の情報が格納されている。これは、重複部分の画像のＭ番目の画素は、カメラ１の撮像画像の座標（Ｘｇ，Ｙｈ）と、カメラ２の撮像画像の座標（Ｘｉ，Ｙｊ）の重複部分である、ということを示している。 FIG. 2C is a diagram illustrating an example of the overlapping part extraction table 16. In this overlapping part extraction table 16, correspondence between which coordinates of which camera image and which coordinates of which camera image overlap is described. The overlapping part extraction table 16 stores a two-dimensional array indicating the camera number and pixel coordinates of each camera in all or part of the overlapping parts of adjacent camera images in the composite image. . In the example shown in FIG. 2C, the Mth data stores information of “camera number: 1, coordinates: (Xg, Yh), camera number: 2, coordinates: (Xi, Yj)”. . This indicates that the Mth pixel in the overlapping portion image is an overlapping portion between the coordinates (Xg, Yh) of the captured image of the camera 1 and the coordinates (Xi, Yj) of the captured image of the camera 2. ing.
上記に説明した画像合成装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びこれらを接続するデータバスなどによって構成されるコンピュータによって構成される。ＲＯＭに書き込まれたプログラムに従ってＣＰＵが演算処理を実行することにより、上記機能が実現される。重複部分抽出用テーブル１６および合成画像抽出用テーブル１７は、ＲＯＭに記憶してもよいし、外部の記憶媒体に記憶してもよい。 The image composition apparatus 1 described above is configured by a computer including a CPU, a ROM, a RAM, and a data bus that connects these. The above functions are realized by the CPU executing arithmetic processing according to the program written in the ROM. The overlapping part extraction table 16 and the composite image extraction table 17 may be stored in a ROM or an external storage medium.
図３は、画像合成装置１による合成用の画像の補正処理の手順を示すフローチャートである。画像合成装置１は、カメラ画像を例えば、１秒に３０枚ずつ取り込む。画像合成装置１は、カメラ画像を取り込む毎に、図３に示す補正処理を行う。 FIG. 3 is a flowchart showing a procedure of a correction process for an image for synthesis by the image synthesizing apparatus 1. The image synthesizing apparatus 1 captures, for example, 30 camera images per second. The image composition device 1 performs the correction process shown in FIG. 3 every time a camera image is captured.
まず、ブランキング区間に入ると、画像抽出部１２は、重複部分抽出用テーブル１６に基づき、画像メモリ１１から重複部分の画像データを読み出す（Ｓ１０）。画像レベル計測部１８は、補正に必要な各隣接するカメラの画像の重複部分における画像データの画素レベルを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色別に積算し、同時に画素数の計測を行う（Ｓ１１）。このとき、Ｒ、Ｇ、Ｂの値が予め定められた閾値の範囲外である場合には、その画素レベルは積算せず、画素数も計測しない。これにより、画素レベルの異常値を補正値の算出から除外し、適切な補正値を求めることができる。続いて、各重複部分における各カメラの画像データのＲ、Ｇ、Ｂの画素レベルの積算値を画素数で割り、重複部分における各カメラ画像の信号レベルの平均値を算出する（Ｓ１２）。 First, when entering the blanking section, the image extraction unit 12 reads out the image data of the overlapping portion from the image memory 11 based on the overlapping portion extraction table 16 (S10). The image level measurement unit 18 integrates the pixel levels of the image data in the overlapping portions of the images of the adjacent cameras necessary for correction for each color of R (red), G (green), and B (blue), and at the same time The number is measured (S11). At this time, if the values of R, G, and B are outside the predetermined threshold range, the pixel level is not integrated and the number of pixels is not measured. Thereby, the abnormal value of the pixel level can be excluded from the calculation of the correction value, and an appropriate correction value can be obtained. Subsequently, the integrated value of the R, G, and B pixel levels of the image data of each camera in each overlapping portion is divided by the number of pixels, and the average value of the signal level of each camera image in the overlapping portion is calculated (S12).
次に、補正値算出部１９は、各重複部分における各カメラの信号レベルの平均値を用いて、隣接カメラ画像間における重複部分の信号レベルの平均値を一致させるための各カメラ画像の補正値を算出する（Ｓ１３）。映像有効区間が始まったら、画像抽出部１２は、合成画像抽出用テーブル１７に基づき、画像メモリ１１から合成用画像データを読み出す（Ｓ１４）。画像合成部１５は、合成画像抽出用テーブル１７に記述されたデータに基づいて、対応するカメラ画像の画素データをマッピングまたは合成してマッピングすることにより、合成画像を生成する（Ｓ１５）。 Next, the correction value calculation unit 19 uses the average value of the signal level of each camera in each overlapping portion to correct the average value of the signal level of the overlapping portion between adjacent camera images. Is calculated (S13). When the video valid section starts, the image extraction unit 12 reads the composition image data from the image memory 11 based on the composition image extraction table 17 (S14). Based on the data described in the composite image extraction table 17, the image composition unit 15 generates a composite image by mapping or combining the corresponding pixel data of the camera image (S15).
図４は、補正値を算出のタイミングを示す図である。図４に示す垂直同期信号は、１フレームの区間を示す同期信号であり、垂直同期信号がＬＯＷのときが映像有効区間、ＨＩＧＨのときが垂直ブランキング区間である。垂直同期信号がＬＯＷからＨＩＧＨに変化した時点で映像１フレーム分が終了し、ＨＩＧＨから再びＬＯＷに変化した時点で次のフレームの映像が始まる。ｎフレームの画像について説明をする。垂直ブランキング区間に入ると、重複部分抽出用テーブル１６に基づき、画像メモリ１１からｎフレームにおける重複部分の画像を読み出す。画像レベル計測部１８は、各隣接するカメラの画像の重複部分における画像データの画素レベルの計測を行う。重複部分の画像の読み出しが終了したら、補正値算出部１９は補正値算出を行い、ｎフレーム用補正値を決定する。なお、重複部分抽出用テーブル１６は、合成画像の画素座標と１対１に対応している必要はなく、重複部分の全部、または、一部のみのデータである。画像メモリ１１から読み出す画素数は、合成画像に比べて十分に少ないため、垂直ブランキング区間内で重複部分の画像の読み出しから、補正算出までの処理が十分に可能である。映像有効期間が始まったら、画像抽出部１２は、合成画像抽出用テーブル１７に基づき、画像メモリ１１からｎフレームの合成用画像データを読み出し、画像補正部１４において、ｎフレームの合成用画像に対してｎフレーム用補正値を用いて補正を行う。 FIG. 4 is a diagram illustrating the timing for calculating the correction value. The vertical synchronizing signal shown in FIG. 4 is a synchronizing signal indicating a section of one frame, and when the vertical synchronizing signal is LOW, it is a video valid section, and when it is HIGH, it is a vertical blanking section. When the vertical synchronization signal changes from LOW to HIGH, one frame of video ends. When the vertical synchronization signal changes from HIGH to LOW again, the video of the next frame starts. An image of n frames will be described. When entering the vertical blanking interval, the image of the overlapping portion in the n frames is read from the image memory 11 based on the overlapping portion extraction table 16. The image level measurement unit 18 measures the pixel level of the image data in the overlapping portion of the images of each adjacent camera. When the reading of the overlapping image is completed, the correction value calculation unit 19 calculates a correction value and determines an n-frame correction value. The overlapping part extraction table 16 does not need to correspond one-to-one with the pixel coordinates of the composite image, and is data of all or only a part of the overlapping part. Since the number of pixels read out from the image memory 11 is sufficiently smaller than that of the composite image, it is possible to sufficiently perform processing from reading out the image of the overlapping portion in the vertical blanking interval to the correction calculation. When the video valid period starts, the image extraction unit 12 reads out the n-frame composition image data from the image memory 11 based on the composite image extraction table 17, and the image correction unit 14 applies the n-frame composition image to the composition image. Then, correction is performed using the n-frame correction value.
以上、本発明の実施の形態の画像合成装置１について説明した。本発明の画像合成装置は、画像の重なった部分（重複部分）の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行うので、垂直ブランキング区間に補正値を求めることができる。これにより、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用することができ、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。図４に見られるように、ｎフレームから求めた補正値をｎフレームの画像に適用することができる。 The image synthesizing apparatus 1 according to the embodiment of the present invention has been described above. The image synthesizing apparatus of the present invention refers to the image level of the overlapping portion (overlapping portion) of the image and performs correction so that the luminance and color balance between the cameras match, so that the correction value is set in the vertical blanking interval. Can be sought. As a result, the correction value can be applied to the camera image read in the video valid section following the vertical blanking section, and the image frame for obtaining the correction value can be matched with the image frame to be corrected. . As can be seen in FIG. 4, the correction value obtained from n frames can be applied to an image of n frames.
なお、本実施の形態においては、重複部分抽出用テーブル１６、合成画像抽出用デーブル１７を別々に記載していたが、一つのデータ保持装置に、両方のデータを保持させても実施可能である。画像メモリ１１と兼用しても実施可能である。 In the present embodiment, the overlapping part extraction table 16 and the composite image extraction table 17 are described separately, but the present invention can be implemented even if both data are held in one data holding device. . The present invention can also be implemented by using the image memory 11 as well.
本実施の形態においては、カメラを５台、車両前方が未撮像領域として記載したが、他のカメラ台数のシステムや、車両全周囲を撮像して表示するシステムにおいても実施可能である。 In the present embodiment, five cameras are described, and the front of the vehicle is described as an unimaged area. However, the present invention can also be implemented in a system of other cameras or a system that captures and displays the entire periphery of the vehicle.
以上説明したように、本発明は、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができるというすぐれた効果を有し、複数のカメラで撮像した画像を合成する画像合成装置等として有用である。 As described above, the present invention has an excellent effect that an image frame for obtaining a correction value can be matched with an image frame to be corrected, and an image obtained by combining images captured by a plurality of cameras. It is useful as a synthesizer.
１ 画像合成装置
２ 車載カメラ
３ 表示装置
１１ 画像メモリ
１２ 画像抽出部
１３ 補正信号発生部
１４ 画像補正部
１５ 画像合成部
１６ 重複部分抽出用テーブル
１７ 合成画像抽出用テーブル
１８ 画像レベル計測部
１９ 補正値算出部
DESCRIPTION OF SYMBOLS 1 Image composition apparatus 2 Car-mounted camera 3 Display apparatus 11 Image memory 12 Image extraction part 13 Correction signal generation part 14 Image correction part 15 Image composition part 16 Overlapping part extraction table 17 Composite image extraction table 18 Image level measurement part 19 Correction value Calculation unit
Claims (5)
前記カメラから入力される複数のカメラ画像を記憶する画像メモリと、
前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出す第１の画像抽出部と、
読み出した画像の画像レベルを計測する画像レベル計測部と、
前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出する補正値算出部と、
前記画像メモリから前記カメラ画像を読み出す第２の画像抽出部と、
読み出したカメラ画像を前記補正値を用いて補正する画像補正部と、
前記補正後のカメラ画像を合成する画像合成部と、
を備え、
前記補正値算出部による補正値の算出を、前記第２の画像抽出部によって画像を読み出す映像有効区間の直前の垂直ブランキング区間に行う画像合成装置。 An image composition device that synthesizes a plurality of images captured by a plurality of cameras arranged so that a part of each imaging range overlaps,
An image memory for storing a plurality of camera images input from the camera;
A first image extraction unit that reads out at least some of the overlapping portions of the plurality of camera images from the image memory;
An image level measurement unit for measuring the image level of the read image;
A correction value calculation unit that calculates a correction value for correcting a plurality of camera images based on the image level so that the image levels of the plurality of camera images in the overlapping portion are the same;
A second image extraction unit for reading the camera image from the image memory;
An image correction unit for correcting the read camera image using the correction value;
An image composition unit for compositing the corrected camera image;
With
An image synthesizing apparatus that performs correction value calculation by the correction value calculation unit in a vertical blanking interval immediately before a video valid interval in which an image is read by the second image extraction unit.
前記第１の画像抽出部は、前記重複部分抽出用テーブルに記憶された座標から重複部分の画像のデータを読み出す請求項１に記載の画像合成装置。 An overlapping part extraction table storing coordinates of the camera image corresponding to the overlapping part;
The image synthesizing apparatus according to claim 1, wherein the first image extraction unit reads data of an image of an overlapping portion from coordinates stored in the overlapping portion extraction table.
前記第２の画像抽出部は、前記合成画像抽出用テーブルに記憶されたカメラ画像の座標から画像のデータを読み出し、
前記画像合成部は、読み出した画像のデータを対応する合成画像の座標にマッピングまたは合成してマッピングする請求項１または２に記載の画像合成装置。 A composite image extraction table storing the correspondence between the coordinates of the camera image and the coordinates of the composite image;
The second image extraction unit reads out image data from the coordinates of the camera image stored in the composite image extraction table;
The image synthesizing apparatus according to claim 1, wherein the image synthesizing unit performs mapping by mapping or synthesizing the read image data to the coordinates of the corresponding synthesized image.
前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、
垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、
読み出した画像の画像レベルを計測するステップと、
前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、
前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、
読み出したカメラ画像を前記補正値を用いて補正するステップと、
前記補正後のカメラ画像を合成するステップと、
を備える画像合成方法。 A method of combining a plurality of images captured by a plurality of cameras arranged so that a part of each other's imaging range overlaps,
Storing a plurality of camera images input from the camera in an image memory;
Reading at least some of the overlapping portions of the plurality of camera images from the image memory in a vertical blanking interval;
Measuring the image level of the read image;
Calculating a correction value for correcting a plurality of camera images based on the image level so that the image levels of the plurality of camera images in the overlapping portion are the same;
Reading the camera image from the image memory in a video valid section following the vertical blanking section;
Correcting the read camera image using the correction value;
Synthesizing the corrected camera image;
An image composition method comprising:
前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、
垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、
読み出した画像の画像レベルを計測するステップと、
前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、
前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、
読み出したカメラ画像を前記補正値を用いて補正するステップと、
前記補正後のカメラ画像を合成するステップと、
を実行させるプログラム。 A program for synthesizing a plurality of images captured by a plurality of cameras arranged so that a part of each imaging range overlaps,
Storing a plurality of camera images input from the camera in an image memory;
Reading at least some of the overlapping portions of the plurality of camera images from the image memory in a vertical blanking interval;
Measuring the image level of the read image;
Calculating a correction value for correcting a plurality of camera images based on the image level so that the image levels of the plurality of camera images in the overlapping portion are the same;
Reading the camera image from the image memory in a video valid section following the vertical blanking section;
Correcting the read camera image using the correction value;
Synthesizing the corrected camera image;
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098771A JP2010252015A (en) | 2009-04-15 | 2009-04-15 | Image composition device, image composition method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098771A JP2010252015A (en) | 2009-04-15 | 2009-04-15 | Image composition device, image composition method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010252015A true JP2010252015A (en) | 2010-11-04 |
Family
ID=43313859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009098771A Pending JP2010252015A (en) | 2009-04-15 | 2009-04-15 | Image composition device, image composition method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010252015A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014033886A1 (en) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
| JP2015184810A (en) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | Image processing apparatus, image processing method, and image processing program |
| JP2016503618A (en) * | 2012-11-15 | 2016-02-04 | ジロプティック | Process and apparatus for capturing and rendering panoramic or stereoscopic image streams |
| WO2016104166A1 (en) * | 2014-12-26 | 2016-06-30 | 株式会社Ｊｖｃケンウッド | Image capturing system |
| US10291864B2 (en) | 2014-04-17 | 2019-05-14 | Sony Corporation | Image processing device and image processing method |
| JP2019140648A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Imaging apparatus and control method of imaging apparatus |
-
2009
- 2009-04-15 JP JP2009098771A patent/JP2010252015A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014033886A1 (en) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
| JPWO2014033886A1 (en) * | 2012-08-30 | 2016-08-08 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
| US9436986B2 (en) | 2012-08-30 | 2016-09-06 | Fujitsu Limited | Image processing apparatus and image processing method |
| JP2016503618A (en) * | 2012-11-15 | 2016-02-04 | ジロプティック | Process and apparatus for capturing and rendering panoramic or stereoscopic image streams |
| JP2019041389A (en) * | 2012-11-15 | 2019-03-14 | ジロプティック | Process and device for capturing and rendering stream of panoramic or stereoscopic image |
| JP2015184810A (en) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | Image processing apparatus, image processing method, and image processing program |
| US10291864B2 (en) | 2014-04-17 | 2019-05-14 | Sony Corporation | Image processing device and image processing method |
| WO2016104166A1 (en) * | 2014-12-26 | 2016-06-30 | 株式会社Ｊｖｃケンウッド | Image capturing system |
| JP2016127329A (en) * | 2014-12-26 | 2016-07-11 | 株式会社Ｊｖｃケンウッド | Imaging system |
| JP2019140648A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Imaging apparatus and control method of imaging apparatus |
| JP7118659B2 (en) | 2018-02-15 | 2022-08-16 | キヤノン株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND PROGRAM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9247217B2 (en) | Vehicle periphery monitoring device and vehicle periphery image display method | |
| US8139114B2 (en) | Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement | |
| JP4874280B2 (en) | Image processing apparatus and method, driving support system, and vehicle | |
| JP2009017020A (en) | Image processor and method for generating display image | |
| JP4739122B2 (en) | In-vehicle camera image composition apparatus and image composition method | |
| JP2010252015A (en) | Image composition device, image composition method and program | |
| JP5003395B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
| CN105196917A (en) | Around View Monitoring Apparatus And Method Thereof | |
| JP2007141098A (en) | Image-processing device and image-processing method | |
| JP2021168186A5 (en) | ||
| JP2007150658A (en) | On-vehicle perimeter image display apparatus | |
| JP5089783B2 (en) | Image processing apparatus and control method thereof | |
| US20100245607A1 (en) | Video processing apparatus | |
| JP4522307B2 (en) | Image capturing apparatus and image capturing method | |
| KR100956228B1 (en) | Image processing apparatus having function of correctting distortion of image | |
| JP5020792B2 (en) | Composite image generation apparatus and composite image generation method | |
| JP2011250376A (en) | Vehicle periphery image display device | |
| JP2007027948A (en) | Apparatus and method for monitoring vehicle periphery | |
| KR101436445B1 (en) | Method for displaying image around the vehicle | |
| KR101339127B1 (en) | A method for generating around view of vehicle capable of removing noise caused by output delay | |
| JP7081265B2 (en) | Image processing equipment | |
| JP2009065519A (en) | Image processing apparatus | |
| KR20170139816A (en) | Image synthesis method in real time | |
| JP2007323495A (en) | Image composition apparatus | |
| JP4783227B2 (en) | Image composition apparatus and image composition method |