JP2006287513A

JP2006287513A - System for presenting status outside vehicle

Info

Publication number: JP2006287513A
Application number: JP2005103529A
Authority: JP
Inventors: Sotaro Otani; 荘太郎大谷
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2006-10-19

Abstract

PROBLEM TO BE SOLVED: To provide a system for presenting a status outside a vehicle capable of supplying a proper image from which halation is removed. SOLUTION: When a turn lamp 41 mounted on a vehicle does not operate, an image processing portion 23 segments an image for a body portion of the vehicle contained in an image-pick-up image photographed by an imaging apparatus 11 and stores it in a image memory 22 temporarily. When the turn lamp 41 operates, the image processing portion 23 synthesizes an image region the image-pick-up image for the body portion of the vehicle photographed by the imaging apparatus 11 with the image stored in the image memory 22 and outputs the synthesized image to an image output display device 12. COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像装置によって車両外の状況を撮像し、運転者に提示する車両外状況提示システムに関し、詳しくは、撮像された撮像画像に発生するハレーションを除去する車両外状況提示システムに関する。 The present invention relates to an out-of-vehicle situation presentation system that images a situation outside a vehicle with an imaging device and presents it to a driver, and more particularly to an out-of-vehicle situation presentation system that removes halation that occurs in a captured image.

カメラによって被写体を撮像する際に、焦点を合わせた被写体以外の物体に強い光が当たると、この物体で反射された光が白くぼやけて撮像されてしまうハレーションという現象が起こる。このハレーションは、暗闇においてフラッシュ撮影をする際に生じやすい現象であり、本来の被写体を撮像するという目的を阻害してしまうため、このようなハレーションを抑制することが望まれている。 When a subject is imaged by the camera, if intense light strikes an object other than the focused subject, a phenomenon called halation occurs in which the light reflected by the object is imaged in a white blurry manner. This halation is a phenomenon that tends to occur when flash photography is performed in the dark, and it hinders the purpose of imaging the original subject, and therefore it is desired to suppress such halation.

例えば、それぞれ異なる位置に複数の照明装置を設置し、被写体を各照明で照明した際の画像をそれぞれ撮像し、撮像した複数枚の画像を合成することでハレーションのない良好な画像を撮像する、という手法が開示されている（特許文献１参照。）。 For example, by installing a plurality of illumination devices at different positions, capturing images when the subject is illuminated with each illumination, and capturing a good image without halation by synthesizing a plurality of captured images, Is disclosed (see Patent Document 1).

特許文献１で開示されている手法によると、設置位置の異なる照明装置による照明光で、被写体を撮像すると、各照明光によってハレーションが生ずる箇所が変わるため、同じ被写体を同じカメラ位置で撮像したとしても、ある照明光で撮像された画像には、ハレーションの生じていた領域が、別な照明光で撮像した場合には、良好な撮像結果が得られる領域となり、このような複数枚の画像をうまく合成することで、ハレーションを除去した合成画像を得ることができる。 According to the technique disclosed in Patent Document 1, if a subject is imaged with illumination light from illumination devices with different installation positions, the location where halation occurs due to each illumination light changes, so the same subject is imaged at the same camera position. However, in an image captured with a certain illumination light, an area where halation has occurred becomes an area where a favorable imaging result can be obtained when an image is captured with another illumination light. By successfully synthesizing, a synthesized image from which halation has been removed can be obtained.

この特許文献１で開示されている手法を用いると、同様の理由により照明ムラも解消することができる。 If the technique disclosed in Patent Document 1 is used, illumination unevenness can be eliminated for the same reason.

ところで、車両には、運転者の死角となる領域を、車体に取り付けたＣＣＤ（Charge Coupled Devices ）カメラで撮像し、車内に設けられた液晶ディスプレイなどに表示させることで、路面走行中の車両の操作や、駐車場における車両の操作をアシストする機能が備えられている。 By the way, the area of the driver's blind spot is imaged by a CCD (Charge Coupled Devices) camera attached to the vehicle body and displayed on a liquid crystal display or the like provided in the vehicle. A function of assisting operation and operation of the vehicle in the parking lot is provided.

例えば、シフトレバーをリバースにした際に、運転者から死角となる車両後方の画像を撮像し、撮像した画像を運転者に提示するバックビューモニタシステムや、運転者から死角となる助手席側前方、例えば、運転席が右にある車両では、左側前方の画像を撮像し、撮像した画像を運転者に提示するサイドブラインドモニタシステムなどを搭載した車両が考案されている。 For example, when the shift lever is reversed, a rear view monitor system that captures an image of the rear of the vehicle that is a blind spot from the driver and presents the captured image to the driver, or a front passenger side that is a blind spot from the driver For example, in a vehicle in which the driver's seat is on the right, a vehicle equipped with a side blind monitor system that captures an image on the left front and presents the captured image to the driver has been devised.

特に、サイドブラインドモニタシステムは、運転者にとって最大の死角の一つである助手席側前方を車両走行中にリアルタイムで運転者に提示することができるため、快適な車両走行を目指す上で非常に注目されている技術である。
特開平９−４６５５７号公報 In particular, the side blind monitor system can present the front side of the passenger seat, which is one of the largest blind spots for the driver, to the driver in real time while driving the vehicle. It is a technology that is attracting attention.
JP 9-46557 A

上述したように、サイドブラインドモニタシステムでは、助手席側前方を撮像して、運転者に提示するが、この助手席側前方の車体には、左折又は右折時に当該方向へ曲がることを他の車両へ通知するための発光灯としてターンランプが備えられている。 As described above, in the side blind monitor system, the front side of the passenger seat is imaged and presented to the driver, but the vehicle body on the front side of the passenger seat may turn to the other vehicle when turning left or right. A turn lamp is provided as a light-emitting lamp for notifying to.

このターンランプが設けられた位置は、サイドブランドモニタシステムの撮像装置であるＣＣＤ（Charge Coupled Devices ）カメラによる撮像範囲内に完全に入っており、夜間時にターンランプを点滅させると、ターンランプから発光される光によって、上述したようなハレーションとなってモニタに表示されてしまうため、サイドブラインドモニタシステムによる効果を十分発揮することができないといった問題があった。この問題は、ハザード点滅の際も同様に発生することになる。 The position where this turn lamp is provided is completely within the imaging range of the CCD (Charge Coupled Devices) camera, which is the imaging device of the side brand monitor system. When the turn lamp flashes at night, light is emitted from the turn lamp. As the above-mentioned halation is displayed on the monitor by the emitted light, there is a problem that the effect of the side blind monitor system cannot be fully exhibited. This problem also occurs when the hazard flashes.

そこで、ＣＣＤカメラのカメラレンズに、ハレーションの抑制を目的としたコーティングを施したり、カバーなどを設けることで対応することが考えられるが、モニタに表示される画面上に現れるハレーションを、完全に除去することは難しく、また、レンズへ加工を施したことにより、撮像された画像のクオリティが低下してしまうといった、さらなる問題も発現してしまっていた。 Therefore, it is conceivable to apply a coating on the camera lens of the CCD camera to suppress halation or to provide a cover, etc., but completely remove the halation that appears on the screen displayed on the monitor. It is difficult to do this, and further problems such as the quality of the captured image being deteriorated by processing the lens have been developed.

また、例えば、特許文献１で開示されている手法を、サイドブラインドモニタシステムにおけるハレーション対策として適用することも考えられるが、以下に示すような問題がある。 Further, for example, the method disclosed in Patent Document 1 may be applied as a countermeasure against halation in the side blind monitor system, but there are the following problems.

（１）特許文献１で開示されている手法では、複数の照明装置を設置する必要があり、コスト的にも、設置スペース的にも現実的ではない。（２）特許文献１で開示されている手法は、撮像領域内に発光体が存在していない状態でのハレーション対策であるため、撮像領域内の発光体であるターンランプによるハレーションを抑制することができない。（３）特許文献１で開示されている手法では、複数枚、撮像した画像を合成することでハレーション対策を行っているため、撮像時間、演算処理時間に多くの時間を要することになり、リアルタイム性が求められるサイドブラインドモニタシステムには不向きである。 (1) In the method disclosed in Patent Document 1, it is necessary to install a plurality of lighting devices, which is not realistic in terms of cost and installation space. (2) Since the technique disclosed in Patent Document 1 is a countermeasure against halation in a state where no light emitter exists in the imaging region, it suppresses halation caused by a turn lamp that is a light emitter in the imaging region. I can't. (3) In the method disclosed in Patent Document 1, since a countermeasure against halation is performed by synthesizing a plurality of captured images, a large amount of time is required for imaging time and calculation processing time. It is not suitable for a side blind monitor system that requires high performance.

このような問題から、特許文献１で開示されている手法は、サイドブラインドモニタシステムにおいて発生するハレーションを除去するための現実的な解決手段とはなりえない。 From such a problem, the method disclosed in Patent Document 1 cannot be a practical solution for removing halation generated in the side blind monitor system.

このような、車両に搭載された発光灯の作動時に、撮像された画像に発生するハレーションは、サイドブラインドモニタシステムばかりではなく、車両に搭載された撮像装置で、車両外状況を撮像し、運転者に提示する各種モニタシステムでも、起こりうる問題である。 The halation generated in the captured image during the operation of the light-emitting lamp mounted on the vehicle is not only the side blind monitor system, but also the imaging device mounted on the vehicle captures the situation outside the vehicle and operates. This is a problem that can occur even in various monitor systems presented to the user.

そこで、本発明は、上述したような問題を解決するために案出されたものであり、撮像領域内にある発光灯から発光される光によって生ずるハレーションを除去し、良好な撮像画像を提示することができる車両外状況提示システムを提供することを目的とする。 Therefore, the present invention has been devised to solve the above-described problems, and removes the halation caused by the light emitted from the light emitting lamp in the imaging region and presents a good captured image. An object of the present invention is to provide an out-of-vehicle situation presentation system.

本発明は、車両に固定的に搭載された撮像装置で車両外状況を撮像し、撮像画像を表示装置を介して運転者に提示する車両外状況提示システムであって、前記車両に搭載された発光灯の非作動時に、前記撮像装置で撮像された撮像画像より、当該撮像画像に含まれる前記車両の車体部分の画像を切り出す画像切り出し手段と、前記画像切り出し手段によって切り出された画像を一時的に記憶する記憶手段と、前記発光灯の作動時に、前記撮像装置で撮像された撮像画像の前記車体部分の画像領域に、前記記憶手段に記憶された前記画像を合成する画像合成手段と、前記画像合成手段によって合成された合成画像を前記表示装置に出力するよう制御する制御手段とを備えることにより、上述の課題を解決する。 The present invention is an out-of-vehicle situation presentation system that images a situation outside a vehicle with an imaging device fixedly mounted on the vehicle and presents the captured image to a driver via a display device. When the light-emitting lamp is not in operation, an image cutout unit that cuts out an image of the vehicle body part of the vehicle included in the captured image from the captured image captured by the imaging device, and the image cut out by the image cutout unit are temporarily Storage means for storing the image, and an image composition means for synthesizing the image stored in the storage means to an image area of the vehicle body portion of the captured image captured by the imaging device when the light-emitting lamp is operated, and The above-described problem is solved by providing control means for controlling to output the composite image synthesized by the image synthesis means to the display device.

本発明の車両外状況提示システムは、車両に搭載された発光灯の非作動時に、撮像装置で車両外状況を撮像した撮像画像より、当該撮像画像に含まれる車両の車体部分の画像を切り出して記憶手段に記憶させ、発光灯の作動時に、撮像装置で撮像された撮像画像の車体部分の画像領域に、記憶手段に記憶された画像を合成することで、発光灯によって発生するハレーションを除去した良好な画像を生成し、表示装置を介して運転者に提示することを可能とする。 The outside-vehicle situation presentation system of the present invention cuts out an image of a vehicle body part of a vehicle included in the captured image from a captured image obtained by capturing the outside-vehicle situation with an imaging device when a light-emitting lamp mounted on the vehicle is inoperative. By storing the image in the storage means and combining the image stored in the storage means with the image area of the vehicle body portion of the captured image captured by the imaging device when the light-emitting lamp is activated, the halation generated by the light-emitting lamp is eliminated. A good image can be generated and presented to the driver via the display device.

以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

まず、図１を用いて、本発明の実施の形態として示すサイドブラインドモニタシステムの構成について説明をする。 First, the configuration of a side blind monitor system shown as an embodiment of the present invention will be described with reference to FIG.

図１に示すようにサイドブラインドモニタシステムは、撮像装置１１と、画像出力表示装置１２と、画像処理装置２０とを備えており車両に搭載されている。 As shown in FIG. 1, the side blind monitor system includes an imaging device 11, an image output display device 12, and an image processing device 20, and is mounted on a vehicle.

撮像装置１１は、車両に設置され助手席側の前方を撮像するための撮像カメラである。撮像装置１１は、例えば、小型で高画質の画像を撮像することができるＣＣＤ（Charge Coupled Devices ）カメラなどであり、助手席側のサイドミラーなどに固定されて取り付けられる。図２に、撮像装置１１が、当該サイドブラインドモニタシステムを搭載した車両３０の助手席側のサイドミラー３１に設置されている様子を示す。 The imaging device 11 is an imaging camera that is installed in a vehicle and images the front side of the passenger seat. The imaging device 11 is, for example, a CCD (Charge Coupled Devices) camera that can capture a small and high-quality image, and is fixedly attached to a side mirror on the passenger seat side. FIG. 2 shows a state in which the imaging device 11 is installed on the side mirror 31 on the passenger seat side of the vehicle 30 equipped with the side blind monitor system.

撮像装置１１の設置位置は、必ずしも、図２に示すような助手席側のサイドミラーなどでなくてもよく、運転者にとって死角となる助手席側前方の領域を撮像することができるように固定して設置されればよい。 The installation position of the imaging device 11 does not necessarily have to be a side mirror or the like on the passenger seat side as shown in FIG. 2, and is fixed so that an area in front of the passenger seat side that is a blind spot for the driver can be imaged. Should just be installed.

また、撮像装置１１が設置されている近傍には、夜間でも、サイドブラインドモニタシステムを利用可能とするために、近赤外線ＬＥＤ（Light Emitting Diode）を設置する。夜間時には、この近赤外線ＬＥＤから近赤外線光を発光することで撮像装置１１の視認性を確保することができる。 Further, a near-infrared LED (Light Emitting Diode) is installed in the vicinity where the imaging device 11 is installed in order to use the side blind monitor system even at night. At night, the visibility of the imaging device 11 can be ensured by emitting near-infrared light from the near-infrared LED.

画像出力表示装置１２は、画像処理装置２０を介して出力される、撮像装置１１で撮像され助手席側前方の画像、あるいは所定の画像処理が施された助手席側前方の画像を出力表示する。画像出力表示装置１２は、車両内に設置されるため、例えば、比較的インチサイズが小さく薄型の液晶ディスプレイなどである。 The image output display device 12 outputs and displays the front image on the front side of the passenger seat that has been captured by the imaging device 11 and that has been subjected to predetermined image processing, that is output via the image processing device 20. . Since the image output display device 12 is installed in a vehicle, for example, it is a thin liquid crystal display having a relatively small inch size.

画像処理装置２０は、画像処理タイミング制御部２１と、画像記憶部２２と、画像処理部２３とを備えており、撮像装置１１で撮像された画像からハレーションを除去するような画像処理を施して、画像出力表示装置１２に出力させる。 The image processing device 20 includes an image processing timing control unit 21, an image storage unit 22, and an image processing unit 23, and performs image processing that removes halation from the image captured by the imaging device 11. The image is output to the image output display device 12.

具体的には、画像処理装置２０は、ハレーションが生じる前に撮像された画像から、ハレーションが生じるであろうとされる領域の画像をあらかじめ切り出して記憶しておき、ハレーションが生じた際に、ハレーションが生じている領域に、あらかじめ記憶していた画像を貼り付けることでハレーションを除去する。 Specifically, the image processing device 20 cuts out and stores in advance an image of a region where halation is likely to occur from an image captured before halation occurs, and when halation occurs, halation occurs. The halation is removed by pasting an image stored in advance in the area where the occurrence of the occurrence of the problem occurs.

画像処理タイミング制御部２１は、撮像装置１１で撮像された撮像画像に対して、画像処理部２３でで実行されるハレーション除去のための画像処理のタイミングを制御する。画像処理タイミング制御部２１には、車両に設けられた発光灯であるターンランプ４１の方向指示の際や、ハザード点滅時における点滅制御、ヘッドランプ５１の点灯制御をそれぞれ担うターンランプ点滅制御部４２と、ヘッドランプ点灯制御部５２とが接続されている。 The image processing timing control unit 21 controls the timing of image processing for removing halation performed by the image processing unit 23 on the captured image captured by the imaging device 11. The image processing timing control unit 21 includes a turn lamp blinking control unit 42 that is responsible for instructing the direction of a turn lamp 41 that is a light emitting lamp provided in the vehicle, blinking control at the time of hazard blinking, and lighting control of the headlamp 51. Are connected to the headlamp lighting control unit 52.

画像処理タイミング制御部２１には、ターンランプ点滅制御部４２からターンランプ４１に出力される点滅を指示する点滅制御命令と、ヘッドランプ点灯制御部５２からヘッドランプ５１に出力される点灯を指示する点灯制御命令とが、同じように出力される。画像処理タイミング制御部２１は、この点滅制御命令、点灯制御命令に応じて、画像処理部２３における画像処理のタイミング制御を行う。この、画像処理タイミング制御部２１によるタイミング制御は、後で、画像処理部２３について説明する際に同時に説明をする。 The image processing timing control unit 21 is instructed to blink to be output from the turn lamp blinking control unit 42 to the turn lamp 41, and to be instructed to be output from the headlamp lighting control unit 52 to the headlamp 51. The lighting control command is output in the same manner. The image processing timing control unit 21 performs image processing timing control in the image processing unit 23 in accordance with the blinking control command and the lighting control command. This timing control by the image processing timing control unit 21 will be described later when the image processing unit 23 is described later.

画像記憶部２２は、撮像装置１１で撮像された画像から、ハレーション除去のために画像処理タイミング制御部２１によるタイミング制御によって切り出された画像を一時的に格納するメモリである。画像記憶部２２には、例えば、ランダムアクセス可能なＲＡＭ（Random Access Memory）などを用いることができる。 The image storage unit 22 is a memory that temporarily stores an image cut out from the image captured by the imaging device 11 by the timing control by the image processing timing control unit 21 for removing halation. For example, a random accessible RAM (Random Access Memory) can be used for the image storage unit 22.

画像処理部２３は、撮像装置１１で撮像された撮像画像に、所定の画像処理を施すことでハレーションを除去し、画像出力表示装置１２に出力する。 The image processing unit 23 performs predetermined image processing on the captured image captured by the imaging device 11 to remove halation, and outputs the image to the image output display device 12.

画像処理部２３が実行するハレーション除去のための画像処理は、ターンランプ４１が点滅することによってハレーションが生じる前に、撮像装置１１で撮像された画像から、ハレーションが生じるであろうとされる領域の画像をあらかじめ切り出して、画像記憶部２２に記憶しておき、ハレーションが生じた際に、ハレーションが生じている領域に、あらかじめ画像記憶部２２に記憶していた画像を貼り付けるといった処理である。 The image processing for halation removal performed by the image processing unit 23 is performed in an area where halation will occur from an image captured by the imaging device 11 before halation occurs due to the blinking of the turn lamp 41. In this process, an image is cut out in advance and stored in the image storage unit 22, and when halation occurs, the image stored in the image storage unit 22 in advance is pasted in the area where the halation has occurred.

以下に、画像処理部２３によるハレーション除去のための画像処理について、さらに詳細に説明をする。図３（ａ）は、サイドブラインドモニタシステムにおいて、撮像装置１１で撮像され、画像出力表示装置１２に表示された画像を模式的に示した図である。図３（ａ）に示すように、撮像装置１１は、助手席側前方を撮像することから、必ず、ターンランプ４１が撮像範囲に入ることになる。したがって、サイドブラインドモニタシステムにおいては、ターンランプ４１が点滅することによってハレーションが生じてしまう可能性が非常に高い状態にある。 Hereinafter, the image processing for removing halation by the image processing unit 23 will be described in more detail. FIG. 3A is a diagram schematically showing an image captured by the imaging device 11 and displayed on the image output display device 12 in the side blind monitor system. As shown in FIG. 3A, since the imaging device 11 images the front side of the passenger seat, the turn lamp 41 always enters the imaging range. Therefore, in the side blind monitor system, there is a very high possibility that halation will occur when the turn lamp 41 blinks.

実際には、ターンランプ４１の点滅によるハレーションは、ヘッドランプ５１を点灯する必要のある夜間時や、悪天候などの場合に顕著に視認される。例えば、ヘッドランプ５１を点灯する必要のある夜間時にターンランプ４１を点滅させると、画像出力表示装置１２を介して表示される表示画像には、図３（ｂ）に示すように、画像表示領域ＨＦにおいて、ターンランプ４１を中心として、ぼやけた光の画像が表示されたハレーションが出現することになる。 Actually, the halation caused by the blinking of the turn lamp 41 is noticeable in the nighttime when the headlamp 51 needs to be turned on or in bad weather. For example, when the turn lamp 41 is blinked at night when the headlamp 51 needs to be turned on, the display image displayed via the image output display device 12 has an image display area as shown in FIG. In HF, halation in which a blurred light image is displayed appears around the turn lamp 41.

ターンランプ４１の点滅によって発生するハレーションの表示画像への影響は、車両３０に設けられたターンランプ４１の設置位置により、図３（ｂ）に示すように、車両３０の車体部分が表示されている画像表示領域ＢＦがほとんどである。つまり、画像出力表示装置１２に表示される表示画像において、ハレーションが表示される画像表示領域ＨＦは、車両３０の車体部分が表示されている画像表示領域ＢＦ内にほとんど含まれていることになる。 As shown in FIG. 3B, the vehicle body portion of the vehicle 30 is displayed depending on the installation position of the turn lamp 41 provided in the vehicle 30 because the halation generated by the blinking of the turn lamp 41 affects the display image. The image display area BF is almost all. That is, in the display image displayed on the image output display device 12, the image display area HF in which the halation is displayed is almost included in the image display area BF in which the vehicle body portion of the vehicle 30 is displayed. .

そこで、画像処理部２３は、図３（ｂ）に示すように出現したハレーションを除去するために、図３（ａ）に示すようなハレーションが出現していない画像から、車両３０の車体部分３０ａを撮像した画像のみを切り出し、図３（ｃ）に示すような切り出し画像Ｇとして、画像記憶部２２に格納する。 Therefore, the image processing unit 23 removes the halation that has appeared as shown in FIG. 3B, and the vehicle body portion 30a of the vehicle 30 from the image in which no halation as shown in FIG. Only an image obtained by capturing the image is cut out and stored in the image storage unit 22 as a cut-out image G as shown in FIG.

そして、画像処理部２３は、ハレーションの出現に応じて、画像記憶部２２より切り出し画像Ｇを読み出し、該当領域である車体部分に合成することで、図３（ｄ）に示すようなハレーションを除去した表示画像を生成する。 Then, in response to the appearance of halation, the image processing unit 23 reads the cutout image G from the image storage unit 22 and combines it with the vehicle body portion that is the corresponding region, thereby removing the halation as shown in FIG. The displayed image is generated.

画像処理部２３によって切り出される、切り出し画像Ｇは、図３（ｃ）に示すように、図３（ａ）に示す車両３０の車体部分３０ａからターンランプ４１を撮像した画像領域を除外した画像である。したがって、タイヤ３２を撮像した画像は、切り出し画像Ｇの対象外となっている。 The cut-out image G cut out by the image processing unit 23 is an image obtained by excluding the image area obtained by capturing the turn lamp 41 from the vehicle body portion 30a of the vehicle 30 shown in FIG. 3A as shown in FIG. is there. Therefore, the image obtained by capturing the tire 32 is not the target of the cutout image G.

図２で示したように、撮像装置１１は、例えば、サイドミラー３１に固定的に設置されている。したがって、撮像装置１１によって撮像される車両３０の車体部分３０ａは、常に同じ撮像領域にあるため、画像処理部２３は、撮像装置１１によって撮像される撮像画像から車体部分３０ａの撮像画像のみを簡単に切り出すことができる。 As shown in FIG. 2, the imaging device 11 is fixedly installed on the side mirror 31, for example. Therefore, since the vehicle body portion 30a of the vehicle 30 imaged by the imaging device 11 is always in the same imaging area, the image processing unit 23 can easily only the captured image of the vehicle body portion 30a from the captured image captured by the imaging device 11. Can be cut out.

ところで、上述したように、撮像装置１１によって撮像された撮像画像から、切り出し画像Ｇを切り出すタイミングは、画像処理タイミング制御部２１によって制御されている。上述したように、ハレーションは、夜間や、悪天候といったヘッドランプ５１の点灯が必要となる場合に発生する可能性が高い。つまり、ターンランプ４１によるハレーションは、ターンランプ４１が作動され点滅している状態で、車両外部の明るさが所定の明るさ以下、例えば、ヘッドランプ５１を点灯する必要がある程度の明るさとなった場合に発生する可能性が高いといえる。 Incidentally, as described above, the timing at which the cutout image G is cut out from the picked-up image picked up by the image pickup device 11 is controlled by the image processing timing control unit 21. As described above, halation is likely to occur when the headlamp 51 needs to be turned on at night or in bad weather. In other words, the halation by the turn lamp 41 is such that the brightness of the outside of the vehicle is not more than a predetermined brightness, for example, the head lamp 51 needs to be lit when the turn lamp 41 is activated and blinking. It can be said that there is a high probability that this will occur.

したがって、ハレーションを除去するために合成させる切り出し画像Ｇは、夜間や、悪天候などにおいて、例えば、ヘッドランプ５１が点灯された状態における車体部分の画像を切り出すことで、合成画像としたときに違和感のない自然な画像を得ることができる。 Therefore, the cut-out image G to be combined to remove halation is uncomfortable when it is converted into a composite image by cutting out an image of the vehicle body part in the state where the headlamp 51 is turned on at night or in bad weather. No natural image can be obtained.

そこで、画像処理タイミング制御部２１は、ヘッドランプ点灯制御部５２によってヘッドランプ５１の点灯を指示する点灯制御命令が出力されたことに応じて、撮像装置１１で撮像された撮像画像より、切り出し画像Ｇを切り出すタイミングである切り出しタイミング信号を画像処理部２３に出力することが考えられる。 Therefore, the image processing timing control unit 21 extracts a cut-out image from the captured image captured by the imaging device 11 in response to the lighting control command instructing the lighting of the headlamp 51 by the headlamp lighting control unit 52 being output. It is conceivable to output a cut-out timing signal that is a timing of cutting out G to the image processing unit 23.

このように、画像処理タイミング制御部２１は、ヘッドランプ点灯制御部５２からの点灯制御命令に応じて、切り出しタイミング信号を画像処理部２３に出力するようにしてもよいが、車両に、車両外部の明るさレベルを検知するセンサ、例えば照度センサを設け、このセンサによって検知された明るさレベルを閾値判定して、判定結果に応じて切り出しタイミング信号を画像処理部２３に出力するようにしてもよい。 As described above, the image processing timing control unit 21 may output the cut-out timing signal to the image processing unit 23 in accordance with the lighting control command from the headlamp lighting control unit 52. A sensor for detecting the brightness level, for example, an illuminance sensor is provided, and the brightness level detected by the sensor is determined as a threshold value, and a cut-out timing signal is output to the image processing unit 23 according to the determination result. Good.

また、切り出し画像Ｇは、ハレーションを発生していない状態の画像であればよいため、切り出し画像Ｇを切り出すタイミングを、上述したように、必ずしもヘッドランプ５１の点灯を指示する点灯制御命令が出力されたタイミングや、センサによって検知された値に基づいたタイミングとしなくてもよい。 Further, since the cut-out image G may be an image in a state in which no halation is generated, the lighting control command for instructing the lighting of the headlamp 51 is output as described above at the timing of cutting out the cut-out image G. Or a timing based on a value detected by a sensor.

したがって、画像処理タイミング制御部２１は、ターンランプ点滅制御部４２から点滅制御命令が出力されていない、ターンランプ４１の非作動時に撮像された画像から、切り出し画像Ｇを切り出すように、切り出しタイミング信号を画像処理部２３に出力するようにしてもよい。 Therefore, the image processing timing control unit 21 extracts the cut-out timing signal so as to cut out the cut-out image G from the image captured when the turn lamp 41 is not in operation, for which the blink control command is not output from the turn lamp blinking control unit 42. May be output to the image processing unit 23.

画像処理部２３は、この切り出しタイミング信号を受けたことに応じて、撮像装置１１から撮像された撮像画像から該当する画像を切り出し、切り出し画像として画像記憶部２２に記憶させる。 In response to receiving this cut-out timing signal, the image processing unit 23 cuts out a corresponding image from the picked-up image picked up from the image pickup device 11 and stores it in the image storage unit 22 as a cut-out image.

また、画像処理部２３が、画像記憶部２２に記憶させた切り出し画像を再び読み出して、撮像装置１１で撮像された撮像画像に合成処理させるタイミングは、同様に、画像処理タイミング制御部２１によって制御されている。 Also, the timing at which the image processing unit 23 reads the cut-out image stored in the image storage unit 22 again and performs the synthesis process on the captured image captured by the imaging device 11 is similarly controlled by the image processing timing control unit 21. Has been.

画像処理タイミング制御部２１は、ターンランプ点滅制御部４２から出力された点滅制御命令によるターンランプ４１の作動時に、画像処理部２３に対して画像記憶部２２に記憶させた切り出し画像を読み出すことを指示するタイミング信号を出力し、画像の合成処理を実行させる。 The image processing timing control unit 21 reads out the cut-out image stored in the image storage unit 22 with respect to the image processing unit 23 when the turn lamp 41 is actuated by the blinking control command output from the turn lamp blinking control unit 42. A timing signal to be instructed is output, and an image composition process is executed.

ところで、上述したように、ハレーションは、夜間や、悪天候といったヘッドランプ５１の点灯が必要となる場合に発生する可能性が高い。つまり、ターンランプ４１によるハレーションは、ターンランプ４１が作動され点滅している状態で、車両外部の明るさが所定の明るさ以下、例えば、ヘッドランプ５１を点灯する必要がある程度の明るさとなった場合に発生する可能性が高い。 By the way, as described above, the halation is likely to occur when the headlamp 51 needs to be turned on at night or in bad weather. In other words, the halation by the turn lamp 41 is such that the brightness of the outside of the vehicle is not more than a predetermined brightness, for example, the head lamp 51 needs to be lit when the turn lamp 41 is activated and blinking. Is more likely to occur.

そこで、画像処理タイミング制御部２１は、ターンランプ４１の作動時に、ヘッドランプ点灯制御部５２からヘッドランプ５１の点灯制御命令が出力された場合に、画像処理部２３に対して画像記憶部２２に記憶させた切り出し画像を読み出すことを指示する読み出しタイミング信号を出力し、画像の合成処理を開始させることもできる。 Therefore, the image processing timing control unit 21 stores the head lamp 51 lighting control command in the image storage unit 22 to the image processing unit 23 when a head lamp lighting control command is output from the head lamp lighting control unit 52 when the turn lamp 41 is operated. It is also possible to output a read timing signal for instructing to read out the stored cutout image, and to start the image synthesis process.

また、切り出しタイミング信号と同様に、画像処理タイミング制御部２１は、ヘッドランプ５１の点灯制御命令に代えて、センサによって検知された車両外部の明るさレベルを閾値判定した結果に応じて、読み出しタイミング信号を画像処理部２３に出力するようにしてもよい。 Similarly to the cut-out timing signal, the image processing timing control unit 21 replaces the lighting control command for the headlamp 51 with the readout timing according to the result of threshold determination of the brightness level outside the vehicle detected by the sensor. The signal may be output to the image processing unit 23.

この読み出しタイミング信号を受けた画像処理部２３は、画像記憶部２２に記憶されている切り出し画像を読み出し、撮像装置１１で撮像された撮像画像の該当する車体部分に合成させる。 Receiving this read timing signal, the image processing unit 23 reads the cut-out image stored in the image storage unit 22 and synthesizes it with the corresponding vehicle body portion of the captured image captured by the imaging device 11.

続いて、図４に示すフローチャートを用いて、サイドブラインドモニタシステムが備える画像処理装置２０のハレーション除去処理動作について説明をする。 Next, the halation removal processing operation of the image processing apparatus 20 included in the side blind monitor system will be described using the flowchart shown in FIG.

本フローチャートでは、画像処理タイミング制御部２１が、ヘッドランプ点灯制御部５２からの点灯制御命令に応じて、切り出しタイミング信号を画像処理部２３に出力し、ヘッドランプ点灯制御部５２からの点灯制御命令及びターンランプ点滅制御部４２からの点滅制御命令に応じて、読み出しタイミング信号を画像処理部２３に出力して、画像合成処理を実行させる場合について説明をする。 In this flowchart, the image processing timing control unit 21 outputs a cut-out timing signal to the image processing unit 23 in response to the lighting control command from the headlamp lighting control unit 52, and the lighting control command from the headlamp lighting control unit 52. A case will be described in which a read timing signal is output to the image processing unit 23 in accordance with a blinking control command from the turn lamp blinking control unit 42 to execute image composition processing.

まず、ステップＳ１において、運転者が、サイドブラインドモニタシステムを起動したことに応じて、撮像装置１１で撮像された撮像画像が、画像処理部２３に入力される。 First, in step S 1, a captured image captured by the imaging device 11 is input to the image processing unit 23 in response to the driver activating the side blind monitor system.

ステップＳ２において、画像処理タイミング制御部２１は、ヘッドランプ点灯制御部５２から、ヘッドランプ５１を点灯させる点灯制御命令が出力されたかどうかを判定する。ヘッドランプ５１を点灯させる点灯制御命令が出力された場合には、工程をステップＳ３へと進め、出力されていない場合には、工程をステップＳ５へと進める。 In step S 2, the image processing timing control unit 21 determines whether a lighting control command for lighting the headlamp 51 is output from the headlamp lighting control unit 52. If the lighting control command for lighting the headlamp 51 is output, the process proceeds to step S3. If not output, the process proceeds to step S5.

ステップＳ３において、画像処理タイミング制御部２１は、ターンランプ点滅制御部４２から、ターンランプ４１を点滅させる点滅制御命令が出力されたかどうかを判定する。 In step S 3, the image processing timing control unit 21 determines whether or not a blink control command for blinking the turn lamp 41 is output from the turn lamp blink control unit 42.

ターンランプ４１を点滅させる点滅制御命令が出力されていない場合には、切り出しタイミング信号を生成して、画像処理部２３へ出力し、工程をステップＳ４へと進める。また、ターンランプ４１を点滅させる点滅制御命令が出力された場合には、読み出しタイミング信号を生成して、画像処理部２３へ出力し、工程をステップＳ６へと進める。 When the blinking control command for blinking the turn lamp 41 is not output, a cut-out timing signal is generated and output to the image processing unit 23, and the process proceeds to step S4. When a blink control command for blinking the turn lamp 41 is output, a read timing signal is generated and output to the image processing unit 23, and the process proceeds to step S6.

ステップＳ４において、画像処理部２３は、画像処理タイミング制御部２１より切り出しタイミング信号が出力されたことに応じて、撮像装置１１から出力された撮像画像から車体部分の画像を切り出し、この“切り出し画像”を画像記憶部２２に記憶させる。 In step S 4, the image processing unit 23 cuts out an image of the vehicle body portion from the captured image output from the imaging device 11 in response to the output of the cut-out timing signal from the image processing timing control unit 21. "Is stored in the image storage unit 22.

ステップＳ５において、画像処理部２３は、ステップＳ２で、ヘッドランプ点灯制御部５２より、ヘッドランプ５１を点灯させる点灯制御命令が出力されなかったこと、又は、ステップＳ３で、画像処理タイミング制御部２１より切り出しタイミング信号が出力されたことに応じて、撮像装置１１で撮像された撮像画像を、画像処理を施すことなくそのまま画像出力表示装置１２に出力する。 In step S5, the image processing unit 23 has not output a lighting control command for lighting the headlamp 51 from the headlamp lighting control unit 52 in step S2, or the image processing timing control unit 21 in step S3. In response to the output of the cut-out timing signal, the captured image captured by the imaging device 11 is output to the image output display device 12 as it is without performing image processing.

ステップＳ６において、画像処理部２３は、画像処理タイミング制御部２１より読み出しタイミング信号が出力されたことに応じて、前回の処理ループにおいて画像記憶部２２に記憶させた、撮像画像から車体部分を切り出した“切り出し画像”を読み出す。 In step S 6, the image processing unit 23 cuts out the vehicle body part from the captured image stored in the image storage unit 22 in the previous processing loop in response to the read timing signal output from the image processing timing control unit 21. The “cutout image” is read out.

ステップＳ７において、画像処理部２３は、画像記憶部２２から読み出した“切り出し画像”を、撮像装置１１で撮像された撮像画像の車体が撮像された画像領域に合成させる。 In step S 7, the image processing unit 23 synthesizes the “cutout image” read from the image storage unit 22 with an image region in which the vehicle body of the captured image captured by the imaging device 11 is captured.

ステップＳ８において、画像処理部２３は、合成された合成画像を、画像出力表示装置１２に出力する。 In step S 8, the image processing unit 23 outputs the synthesized image to the image output display device 12.

このようにして、画像処理装置２０の画像処理部２３は、画像処理タイミング制御部２１より出力される切り出しタイミング信号に応じて、撮像装置１１で撮像された撮像画像のうち、車両の車体部分を撮像した画像を切り出して画像記憶部２２に記憶させる。 In this way, the image processing unit 23 of the image processing device 20 selects the vehicle body portion of the vehicle in the captured image captured by the imaging device 11 in accordance with the cut-out timing signal output from the image processing timing control unit 21. The captured image is cut out and stored in the image storage unit 22.

そして、発光灯であるターンランプ４１の作動時に、画像記憶部２２に記憶されている画像を、撮像装置１１で撮像された撮像画像の該当する画像領域に合成し、画像出力表示装置１２に表示させることで、方向指示の際や、ハザード点滅時におけるターンランプ４１の点滅によって発生したハレーションを除去した良好な表示画像を運転者に提示することができる。 Then, when the turn lamp 41 that is a light-emitting lamp is operated, the image stored in the image storage unit 22 is combined with the corresponding image area of the captured image captured by the imaging device 11 and displayed on the image output display device 12. By doing so, it is possible to present to the driver a good display image in which the halation generated by blinking of the turn lamp 41 at the time of direction indication or blinking of the hazard is removed.

また、画像処理部２３は、撮像装置１１で撮像された撮像画像から切り出す車体部分の画像として、ターンランプ４１を除外した車体部分の画像を切り出すことで、ハレーション除去のために画像合成処理をした合成画像を、合成処理を施したことが分からないような撮像画像に近い自然な画像として運転者に提示することができる。 Further, the image processing unit 23 cuts out the image of the vehicle body part excluding the turn lamp 41 as the image of the vehicle body part cut out from the captured image picked up by the imaging device 11, thereby performing image synthesis processing for removing halation. The composite image can be presented to the driver as a natural image close to a captured image that does not know that the composite processing has been performed.

また、車両外部の明るさが所定の明るさ以下となったことに応じて、画像合成処理を開始することで、夜間や、悪天候といったハレーションが生じやすい環境において、確実にハレーション除去処理を実行することができる。 In addition, by starting the image composition process in response to the brightness outside the vehicle being equal to or lower than the predetermined brightness, the halation removal process is reliably executed in an environment where halation is likely to occur such as nighttime or bad weather. be able to.

さらに、車両外部の明るさが所定の明るさ以下となるタイミングを、ヘッドランプ５１が点灯されたタイミングとすることで、画像合成によるハレーション除去処理において、上述したような明るさレベルを検知するセンサを別途設けずとも、画像合成処理を開始するタイミングを決定することができる。 Furthermore, a sensor that detects the brightness level as described above in the halation removal processing by image synthesis by setting the timing when the brightness outside the vehicle is equal to or lower than the predetermined brightness as the timing when the headlamp 51 is turned on. The timing for starting the image compositing process can be determined without separately providing.

本発明は、上述したようなサイドブラインドシステムばかりではなく、車両に固定的に搭載された撮像装置で車両外状況を撮像し、撮像画像を表示装置を介して運転者に提示する、どのような車両外状況提示システム、例えば、バックビューモニタシステムや、左右のサイドミラーに内蔵した広角カメラと、車両に設けられたフロントカメラ、リアカメラで車両周囲を撮像し、この撮像画像に所定の画像処理を施して生成した車両周囲を見渡せる画像を表示することで、運転者の視界を補助するアラウンドビューシステムなどにおいても適用することができ、車両に搭載されたなんらかの発光灯の作動時に発生するハレーションを除去した良好な画像を提示することができる。 The present invention captures not only the side blind system as described above but also the situation outside the vehicle with an imaging device fixedly mounted on the vehicle, and presents the captured image to the driver via the display device. An outside vehicle status presentation system, for example, a back view monitor system, a wide-angle camera built in the left and right side mirrors, a front camera and a rear camera provided in the vehicle, image the surroundings of the vehicle, and predetermined image processing is performed on the captured image By displaying an image that can be seen over the vehicle generated by applying, it can also be applied in an around view system that assists the driver's field of view, etc., and halation that occurs at the time of operation of some light emitting lamp mounted on the vehicle The removed good image can be presented.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

本発明の実施の形態として示すサイドブラインドモニタシステムの構成を説明するためのブロック図である。It is a block diagram for demonstrating the structure of the side blind monitor system shown as embodiment of this invention. 上記サイドブラインドモニタシステムが備える撮像装置の取り付け例を示した図である。It is the figure which showed the example of attachment of the imaging device with which the said side blind monitor system is provided. （ａ）は、ハレーションが出現していない状態の表示画像を示した図であり、（ｂ）は、ハレーションが出現した状態の表示画像を示した図であり、（ｃ）は、画像合成処理に用いる切り出し画像を示した図であり、（ｄ）は、画像合成処理後の表示画像を示した図である。(A) is the figure which showed the display image in the state where halation does not appear, (b) is the figure which showed the display image in the state where halation appeared, (c) is an image composition process FIG. 4D is a diagram showing a display image after image synthesis processing. 画像処理装置のハレーション除去処理動作について説明するためのフローチャートである。It is a flowchart for demonstrating the halation removal process operation | movement of an image processing apparatus.

符号の説明Explanation of symbols

１１撮像装置
１２画像出力表示装置
２０画像処理装置
２１画像処理タイミング制御部
２２画像記憶部
２３画像処理部
４１ターンランプ
４２ターンランプ点滅制御部
５１ヘッドランプ
５２ヘッドランプ点灯制御部 DESCRIPTION OF SYMBOLS 11 Imaging device 12 Image output display device 20 Image processing device 21 Image processing timing control part 22 Image storage part 23 Image processing part 41 Turn lamp 42 Turn lamp blinking control part 51 Head lamp 52 Head lamp lighting control part

Claims

車両に固定的に搭載された撮像装置で車両外状況を撮像し、撮像画像を表示装置を介して運転者に提示する車両外状況提示システムであって、
前記車両に搭載された発光灯の非作動時に、前記撮像装置で撮像された撮像画像より、当該撮像画像に含まれる前記車両の車体部分の画像を切り出す画像切り出し手段と、
前記画像切り出し手段によって切り出された画像を一時的に記憶する記憶手段と、
前記発光灯の作動時に、前記撮像装置で撮像された撮像画像の前記車体部分の画像領域に、前記記憶手段に記憶された前記画像を合成する画像合成手段と、
前記画像合成手段によって合成された合成画像を前記表示装置に出力するよう制御する制御手段とを備えること
を特徴とする車両外状況提示システム。 An off-vehicle situation presentation system that images a situation outside the vehicle with an imaging device fixedly mounted on the vehicle, and presents the captured image to the driver via a display device,
Image cutout means for cutting out an image of the vehicle body part of the vehicle included in the picked-up image from a picked-up image picked up by the image pickup device when the light-emitting lamp mounted on the vehicle is inoperative;
Storage means for temporarily storing the image cut out by the image cut-out means;
Image synthesizing means for synthesizing the image stored in the storage means with an image area of the vehicle body portion of the captured image captured by the imaging device when the light-emitting lamp is operated;
And a control unit that controls to output the synthesized image synthesized by the image synthesizing unit to the display device.

前記画像切り出し手段は、前記撮像装置で撮像された撮像画像より、前記発光灯を除外した前記車体部分の画像を切り出すこと
を特徴とする請求項１記載の車両外状況提示システム。 The vehicle exterior situation presentation system according to claim 1, wherein the image cutout means cuts out an image of the vehicle body portion excluding the light-emitting lamp from a captured image captured by the imaging device.

車両外部の明るさが所定の明るさ以下となったことに応じて、前記画像合成手段による画像合成を開始させるよう制御する画像処理タイミング制御手段を備えること
を特徴とする請求項１記載の車両外状況提示システム。 The vehicle according to claim 1, further comprising image processing timing control means for controlling to start image composition by the image composition means in response to the brightness outside the vehicle being equal to or less than a predetermined brightness. Outside situation presentation system.

前記画像処理タイミング制御手段は、前記車両に搭載されたヘッドランプが点灯された場合に、前記車両外部の明るさが所定の明るさ以下となったと判定し、
前記画像合成手段による画像合成を開始させるよう制御すること
を特徴とする請求項３記載の車両外状況提示システム。

The image processing timing control means determines that the brightness outside the vehicle is equal to or lower than a predetermined brightness when a headlamp mounted on the vehicle is lit.
The system for presenting a situation outside the vehicle according to claim 3, wherein control is performed to start image composition by the image composition means.