JP2007013777A - Imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which can acquire a frame picture of an image quality suitable for display and the frame picture suitable for image processing. <P>SOLUTION: An exposure condition is set so that a video signal of a brightness level for display can be obtained for the odd-numbered frames when the imaging apparatus performs imaging, and the imaging is performed by the set exposure condition and outputted (steps 100-108). Moreover, when imaging the even-numbered frames, the exposure condition is set so that the video signal of the brightness level suitable for the image processing might be obtained, and the imaging is performed on the set exposure condition and outputted (step 100,110,112,106,108). Consequently, the frame picture suitable for display and the frame picture suitable for image processing can be alternately outputted from one camera unit on time series. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両等に設けられて車外の撮像に用いられる撮像装置など、目視による監視と画像処理による監視に用いられる撮像装置に関する。   The present invention relates to an imaging device used for visual monitoring and monitoring by image processing, such as an imaging device provided in a vehicle or the like and used for imaging outside the vehicle.

撮像装置には、ＣＣＤなどの光電変換素子を撮像素子として、撮像素子に入射された光を電気信号に変換し、画像データとして１フレーム分の映像信号を出力するものがある。このような撮像装置から出力される画像データをモニタなどに表示することにより、モニタに撮影対象物を映し出すことができるようになっている。また、撮像装置から時系列的に出力するフレーム画像をモニタに順次表示することにより、動画表示を行うことができる。   Some imaging apparatuses use a photoelectric conversion element such as a CCD as an imaging element, convert light incident on the imaging element into an electrical signal, and output a video signal for one frame as image data. By displaying the image data output from such an image pickup device on a monitor or the like, it is possible to project an object to be photographed on the monitor. Further, a moving image can be displayed by sequentially displaying frame images output in time series from the imaging apparatus on the monitor.

このような撮像装置を用い、走行中の車両の周囲の状況を表示することにより、運転者の視覚支援が可能となる。また、近赤外光、遠赤外光などの赤外光を受光する撮像素子を用いることにより、運転者の夜間の視覚支援が可能となる。   By using such an imaging device and displaying the situation around the running vehicle, the driver's visual assistance can be provided. Further, by using an image sensor that receives infrared light such as near-infrared light and far-infrared light, the driver can provide visual assistance at night.

近赤外撮像素子を用いる場合、ヘッドライトの照射領域外に近赤外光を投光して撮像することにより、ヘッドライトの照射領域外の遠方の暗闇の道路状況をモニタに表示することが可能となり、この表示から運転者が歩行者などの存在を早く認識することができる。   When using a near-infrared imaging device, it is possible to display on the monitor the road conditions in the far dark outside the irradiation area of the headlight by projecting near infrared light outside the irradiation area of the headlight. From this display, the driver can quickly recognize the presence of a pedestrian or the like.

ところで、このような運転者の夜間の視覚支援を行うときには、走行環境の変化により視認性が変化することがある。これにより、例えば、対向車のヘッドライトの向きなどによってハレーションが生じることがあり、ハレーション部近辺の物体の輪郭が不明確になる。   By the way, when such a driver's night vision assistance is performed, the visibility may change due to a change in driving environment. Thereby, for example, halation may occur depending on the direction of the headlight of the oncoming vehicle, and the contour of the object near the halation portion becomes unclear.

一般に、ＣＣＤなどの撮像素子を用いた撮像装置では、電子シャッターによる露光時間の制御と、ＡＧＣによる出力信号の増幅によって映像出力のレベル調整を行っており、この露光時間を、対向車のヘッドライトでハレーションを生じることがない時間に固定することにより視認性を向上させて提案がなされている（例えば、特許文献１参照。）。   In general, in an image pickup apparatus using an image pickup device such as a CCD, an exposure time is controlled by an electronic shutter and an output signal is amplified by an AGC, and a video output level is adjusted. In order to improve visibility, a proposal has been made (for example, see Patent Document 1).

また、対向車のヘッドライトに起因するハレーションを抑制する別の方法として、撮像素子の出力を信号処理して得られる映像信号の出力レベルを、基準条件の下で所定のテストパターンを撮影したときのピーク値が、所定値となるように抑えるようにした提案がなされている（例えば、特許文献２参照。）。   Also, as another method of suppressing halation caused by headlights of oncoming vehicles, when a predetermined test pattern is photographed under reference conditions, the output level of the video signal obtained by signal processing the output of the image sensor A proposal has been made to suppress the peak value to be a predetermined value (see, for example, Patent Document 2).

さらに、夜間の車両の周囲の明るさは、走行環境によって大きく変化し、例えば、市街地を走行しているときには、周囲が明るく、このために、モニタに表示される画像が明るくなり過ぎて、視認性が低下してしまうことがある。   Furthermore, the brightness of the surroundings of a vehicle at night varies greatly depending on the driving environment. For example, when driving in an urban area, the surroundings are bright, so the image displayed on the monitor becomes too bright and visible. May deteriorate.

ここから、例えば、ＧＰＳシステムを用いた車両の位置情報と地図データから、市街地か否かなどの車両の走行環境を取得し、取得した走行環境に基づいて、撮影画像の出力制御を行うことにより、モニタに表示する画像が、走行環境に応じた適切な明るさとなるようにする提案がなされている（例えば、特許文献３参照。）。   From here, for example, by acquiring the traveling environment of the vehicle such as whether it is an urban area from the position information and map data of the vehicle using the GPS system, and performing output control of the captured image based on the acquired traveling environment A proposal has been made so that an image displayed on a monitor has appropriate brightness according to the driving environment (see, for example, Patent Document 3).

特許文献１から特許文献３は、表示用途に適した明るさレベルに調整する提案であるのに対して、例えば、撮像した道路画像中で、道路のレーンマークに対応する位置に、測光ウインドを設定し、測光ウインド内の濃度値から露光制御値を設定し、設定した露光制御値で露光制御を行いながら撮像する提案がなされている（例えば、特許文献４参照。）。   Patent Documents 1 to 3 are proposals for adjusting to a brightness level suitable for display applications. For example, in a captured road image, a photometric window is placed at a position corresponding to a road lane mark. A proposal has been made to set, set an exposure control value from the density value in the photometric window, and perform imaging while performing exposure control with the set exposure control value (see, for example, Patent Document 4).

この提案では、先行車を検出して、測光ウインドを先行車からずらすことにより、映像出力調整を行い、的確にレーンマークを視認できる画像表示が可能となるようにしている。先行車のブレーキランプが点灯したときや、周囲の光が先行者の車体で反射した時に、表示画像にハレーションが生じる恐れがあるので、表示用途に適した明るさレベルにならないことがある。   In this proposal, by detecting the preceding vehicle and shifting the photometric window from the preceding vehicle, the video output adjustment is performed, so that an image display that allows the lane mark to be visually recognized accurately becomes possible. When the brake lamp of the preceding vehicle is turned on or when ambient light is reflected by the vehicle body of the preceding vehicle, there is a possibility that halation may occur in the display image, so that the brightness level suitable for the display application may not be obtained.

夜間の運転者の視覚支援においては、対向車のヘッドライトによるハレーションの抑制を行うことが必要であり、ハレーションを抑制することにより、画面全体のちらつき感や眩しさを抑え、ハレーション近辺の歩行者等の視認性を向上することができる。   In visual assistance for drivers at night, it is necessary to suppress halation by the headlights of oncoming vehicles. By suppressing halation, the flickering and glare of the entire screen can be suppressed, and pedestrians in the vicinity of halation. Etc. can be improved.

映像出力から歩行者などの撮像対象を、画像処理により検出するときには、撮像対象のコントラストが大きいことが好ましい画質となるのに対して、ハレーション防止などのために映像出力のレベルを抑えると、撮像対象の周囲が暗くなり階調が低く（つぶれる）なり、コントラストの低下した画像となってしまう。   When an imaging target such as a pedestrian is detected from the video output by image processing, it is preferable that the contrast of the imaging target is high, but it is preferable to suppress the video output level to prevent halation. The periphery of the object becomes dark and the gradation becomes low (collapsed), resulting in an image with reduced contrast.

このように、表示用の映像出力と画像処理用の映像出力など、異なる明るさレベル、すなわち露光条件の映像出力を並行して得るためには、表示用の撮像手段と、画像処理用の撮像手段を設けることで達成することができるが、この方法では、撮像装置のコストアップのみならず、撮像装置が大型化して車両に大きな設置スペースが必要となってしまうという問題がある。
特開２００４−１５３４２５号公報 特開２００４−９６３４５号公報 特開２００４−１２３０６１号公報 特開２００４−３４３３０３号公報 As described above, in order to obtain a video output of different brightness levels, that is, exposure conditions, such as a video output for display and a video output for image processing in parallel, the imaging means for display and the imaging for image processing are used. Although this can be achieved by providing means, this method has a problem that not only the cost of the imaging apparatus is increased, but also the imaging apparatus is increased in size and requires a large installation space in the vehicle.
JP 2004-153425 A JP 2004-96345 A JP 2004-123061 A JP 2004-343303 A

本発明は上記事実に鑑みてなされたものであり、装置が大型化してしまうことなく、モニタなどへの表示用の映像出力と、画像処理用の映像出力を得ることができる撮像装置を低コストで実現することを目的とする。   The present invention has been made in view of the above-described facts, and an imaging apparatus capable of obtaining a video output for display on a monitor and a video output for image processing without increasing the size of the apparatus at a low cost. It aims to be realized with.

上記目的を達成するために本発明は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列順に出力する撮像手段と、前記撮像手段から時系列順に出力される前記フレーム画像を第１のフレーム画像と第２のフレーム画像とに時間分割して出力する分割出力手段と、前記第１のフレーム画像及び前記第２のフレーム画像の一方の画像に基づいて、前記撮像手段から次に出力される該一方の画像の明るさのレベルを表示用途に適した明るさのレベルに調整し、前記第１のフレーム画像及び前記第２のフレーム画像の他方の画像に基づいて、前記撮像手段から次に出力される該他方の画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するレベル調整手段と、を含む。   In order to achieve the above object, the present invention captures an object at a predetermined frame rate and outputs frame images obtained by the imaging in chronological order, and the imaging unit outputs the chronological order. Based on one of the first frame image and the second frame image, divided output means for time-dividing and outputting the frame image into a first frame image and a second frame image, the imaging Adjusting the brightness level of the one image output next from the means to a brightness level suitable for display use, and based on the other image of the first frame image and the second frame image And level adjusting means for adjusting the brightness level of the other image output next from the imaging means to a brightness level suitable for image processing applications.

この発明によれば、撮像手段によって時系列的に出力されるフレーム画像を、分割手段によって第一のフレーム画像と、第二のフレーム画像に時間分割して出力する。   According to the present invention, the frame image output in time series by the imaging unit is time-divided into the first frame image and the second frame image by the dividing unit and output.

このとき、レベル調整手段は、第一のフレーム画像又は第二のフレーム画像の一方を、表示に適した明るさのレベルに調整し、他方を画像処理用途に適する明るさレベルに調整する。   At this time, the level adjustment means adjusts one of the first frame image and the second frame image to a brightness level suitable for display, and adjusts the other to a brightness level suitable for image processing.

これにより、一つの撮像手段から、用途に応じた異なる画質のフレーム画像を得ることができるので、複数の画質のフレーム画像を得る装置のサイズを抑えることができると共に、そのためのコスト上昇も抑えることができる。   As a result, it is possible to obtain frame images with different image quality according to the application from one image pickup means, so that it is possible to reduce the size of the apparatus for obtaining a plurality of image quality frame images and to suppress an increase in cost for that purpose. Can do.

また、本発明の前記分割出力手段は、自然数の倍数番目のフレーム画像を前記第１のフレーム画像とし、残りのフレーム画像を前記第２のフレーム画像として時間分割するものであってもよく、前記分割出力手段は、偶数番目のフレーム画像を前記第１のフレーム画像として分割するか、または３の倍数番目のフレーム画像を前記第２のフレーム画像として時間分割するものであっても良く、本発明の分割手段は、時系列的に出力されるフレーム画像から、予め設定している順位を第一のフレーム画像又は第二のフレーム画像とし、残りを第二のフレーム画像又は第一のフレーム画像とすることができる。   Further, the division output means of the present invention may be configured to time-divide a frame image that is a multiple of a natural number as the first frame image and the remaining frame image as the second frame image, The division output means may divide even-numbered frame images as the first frame images, or time-divide multiple frame images of multiples of 3 as the second frame images. The dividing means includes a first frame image or a second frame image in a preset order from the frame images output in time series, and the second frame image or the first frame image as the rest. can do.

本発明の前記レベル調整手段は、前記撮像手段の撮像素子の露光時間及び該撮像素子から出力される出力信号の増幅率の少なくとも一方の調整によって明るさのレベルを調整するものであればよく、また、本発明では、前記表示用途に適した明るさのレベルを、表示画像にハレーションが生じないレベルとし、前記画像処理用途に適した明るさのレベルを、特定対象物のコントラストが最も高くなるレベルとすることができる。   The level adjusting means of the present invention may be anything that adjusts the brightness level by adjusting at least one of the exposure time of the image sensor of the image sensor and the amplification factor of the output signal output from the image sensor, In the present invention, the brightness level suitable for the display application is set to a level at which no halation occurs in the display image, and the brightness level suitable for the image processing application is the highest in the contrast of the specific object. Can be a level.

さらに、本発明の撮像装置は、撮像手段が撮像するエリアを照明し、その発光強度及び発光方向の少なくとも一方が制御可能な投光手段を更に含み、前記制御手段は、画像の明るさのレベルを表示用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を表示用途に適するように制御すると共に、画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を画像処理用途に適するように制御する。   Furthermore, the imaging apparatus of the present invention further includes a light projecting unit that illuminates an area captured by the image capturing unit and that can control at least one of the light emission intensity and the light emission direction, and the control unit includes a brightness level of the image. In synchronization with the adjustment of the brightness level suitable for the display application, at least one of the light emission intensity and the light emission direction of the light projecting means is controlled to be suitable for the display application, and the brightness level of the image is adjusted. In synchronization with the adjustment to the brightness level suitable for the processing application, at least one of the light emission intensity and the light emission direction of the light projecting means is controlled to be suitable for the image processing application.

この発明によれば、フレーム画像のレベル調整、表示用か画像処理用かに応じて対象物を撮像するときの、投光手段による光の照射方向ないし照射強度を制御する。   According to the present invention, the irradiation direction or the irradiation intensity of the light by the light projecting means is controlled when the object is imaged according to the level adjustment of the frame image, whether for display or image processing.

これにより、対象物を適切に表示可能とするフレーム画像ないし、対象物に対する適切な画像処理を行うことができるフレーム画像を得ることができる。   Thereby, it is possible to obtain a frame image capable of appropriately displaying the object or a frame image capable of performing appropriate image processing on the object.

以上説明したように本発明によれば、撮像手段から時系列的に出力されるフレーム画像を、例えば、異なる明るさレベルなどの異なる画質に調整して、画質ごとに分割して出力するので、一つの撮像手段から、用途に応じた異なる画質のフレーム画像を得ることができるという優れた効果が得られる。これにより、複数の画質のフレーム画像を得る撮像装置としてのサイズを抑えることができると共に、そのためのコスト上昇も抑えることができる。   As described above, according to the present invention, the frame image output in time series from the imaging unit is adjusted to different image quality such as different brightness levels, and divided and output for each image quality. An excellent effect is obtained that frame images with different image quality according to the application can be obtained from a single imaging means. As a result, it is possible to suppress the size as an imaging device that obtains a plurality of frame images of image quality, and it is possible to suppress an increase in cost.

以下に、図面を参照しながら本発明の実施の形態を説明する。図１には、本実施の形態に適用した車両用撮像システム１０の概略構成を示している。この車両用撮像システム１０は、撮像装置１２と、撮像装置１２から出力される映像信号に対して、所定の画像処理を施す画像処理装置１４及び、画像処理装置１４から出力される映像出力に応じた画像を表示するディスプレイ１６を含んでいる。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of a vehicle imaging system 10 applied to the present embodiment. The vehicle imaging system 10 includes an imaging device 12, an image processing device 14 that performs predetermined image processing on a video signal output from the imaging device 12, and a video output output from the image processing device 14. A display 16 for displaying the displayed image is included.

この車両用撮像システム１０は、車両に設けられて、車両の前方を撮像して、車室内に設けているディスプレイ１６に表示することにより、運転者の視覚支援を図る。   The vehicle imaging system 10 is provided in a vehicle, captures the front of the vehicle, and displays it on a display 16 provided in the passenger compartment, thereby providing visual assistance to the driver.

撮像装置１２は、ライトユニット１８、カメラユニット２０を含んでいる。ライトユニット１８は、投光手段として設けられており、車両の前方へ向けて所定波長の光を発する。カメラユニット２０は、ＣＣＤ、ＣＭＯＳイメージセンサなどの撮像素子及び、入射される光を撮像素子上に結像する光学系（何れも図示省略）を含んでおり、車両前方側から入射される所定波長の光を受光する。   The imaging device 12 includes a light unit 18 and a camera unit 20. The light unit 18 is provided as light projecting means, and emits light having a predetermined wavelength toward the front of the vehicle. The camera unit 20 includes an imaging device such as a CCD or CMOS image sensor, and an optical system (both not shown) that forms incident light on the imaging device, and has a predetermined wavelength incident from the front side of the vehicle. Receive the light.

これにより、光学系によって撮像素子に結像された画像に応じた電気信号が得られる。また、カメラユニット２０では、撮像素子から出力される電気信号に対してＡ／Ｄ変換を施すことにより、１フレーム分の映像信号（フレーム画像の画像データ）を出力する。   Thereby, an electrical signal corresponding to the image formed on the image sensor by the optical system is obtained. Further, the camera unit 20 performs A / D conversion on the electrical signal output from the image sensor, thereby outputting a video signal (image data of a frame image) for one frame.

また、カメラユニット２０では、この映像信号を時系列的に出力可能となっている。なお、このようなカメラユニット２０の基本的構成は、撮影画像に応じた映像信号を出力する公知の構成となっている。   The camera unit 20 can output this video signal in time series. Note that the basic configuration of such a camera unit 20 is a known configuration that outputs a video signal corresponding to a captured image.

このような撮像装置１２では、所定波長の光として、赤外光のうちの近赤外光を用いることができる。このときには、ライトユニット１８が、車両前方へ向けて近赤外光を発し、カメラユニット２０が、例えば、近赤外光透過フィルタ等を用いるなどして、近赤外光の受光が可能となっていればよい。   In such an imaging device 12, near infrared light of infrared light can be used as light of a predetermined wavelength. At this time, the light unit 18 emits near infrared light toward the front of the vehicle, and the camera unit 20 can receive near infrared light by using, for example, a near infrared light transmission filter. It only has to be.

これにより、撮像装置１２では、ランプユニット１８から照射した光が、車両前方の対象物で反射して、カメラユニット２０に入射されることにより、対象物が撮像される。夜間走行時に、ランプユニット１８がヘッドライトの照射領域外を照明して撮像することにより、運転者の視認が難しい遠方の領域の撮像が可能となり、車両用撮像システム１０では、この撮像装置１２によって撮像した画像を表示手段に表示することにより、運転者の視覚支援が可能となるようにしている。   Thereby, in the imaging device 12, the light irradiated from the lamp unit 18 is reflected by the object in front of the vehicle and is incident on the camera unit 20, whereby the object is imaged. When the vehicle is traveling at night, the lamp unit 18 illuminates and shoots the outside of the headlight irradiation area, so that it is possible to image a distant area that is difficult for the driver to visually recognize. In the vehicular imaging system 10, the imaging apparatus 12 By displaying the captured image on the display means, the driver's visual assistance is made possible.

なお、本発明が適用される撮像装置としては、近赤外光に限らず、可視光による撮像を行うものであってもよく、このときには、可視光を発する投光手段を、必要に応じて設ければよく、以下では、光源種を特定せずに説明する。また、照明条件が十分に整っている対象を撮像する場合などには、ランプユニット１８を省略することができる。   Note that the imaging apparatus to which the present invention is applied is not limited to near-infrared light, and may be one that performs imaging using visible light. In this case, a light projecting unit that emits visible light is used as necessary. In the following description, the light source type is not specified. Further, the lamp unit 18 can be omitted when imaging an object whose lighting conditions are sufficiently set.

ディスプレイ１６は、表示手段として設けられる。このディスプレイ１６としては、ＬＣＤ（液晶ディスプレイ）など、画像を直接又は間接的に表示する任意の表示手段を適用することができる。なお、撮像装置１２で近赤外光を用いた撮像を行うときには、ディスプレイ１６には、単色画像が表示される。なお、カメラユニット２０で可視光を受光するときには、ディスプレイ１６にカラー画像を表示してもよい。   The display 16 is provided as display means. As the display 16, any display means for directly or indirectly displaying an image such as an LCD (liquid crystal display) can be applied. Note that when the imaging device 12 performs imaging using near-infrared light, a monochromatic image is displayed on the display 16. When the camera unit 20 receives visible light, a color image may be displayed on the display 16.

一方、撮像装置１２には、撮像制御部２２が設けられている。撮像制御部２２では、所定の同期信号を、ランプユニット１８及びカメラユニット２０のそれぞれに出力すると共に、カメラユニット２０へ撮像素子による光の受光時間である露光時間などを制御する露光制御信号を出力する。   On the other hand, the imaging device 12 is provided with an imaging control unit 22. The imaging control unit 22 outputs a predetermined synchronization signal to each of the lamp unit 18 and the camera unit 20, and outputs an exposure control signal for controlling an exposure time that is a light reception time of the image sensor to the camera unit 20. To do.

これにより、撮像装置１２では、ランプユニット１８の点灯／消灯が制御されるのと動機して、カメラユニット２０の受光タイミング、露光時間などの露光制御が行われる。   Thereby, in the imaging device 12, exposure control such as the light reception timing and the exposure time of the camera unit 20 is performed with the motivation to turn on / off the lamp unit 18.

撮像制御部２２は、ランプユニット１８の発光タイミングと、カメラユニット２０の露光タイミングを合わせ、設定した露光時間で撮像を行い、映像信号として１フレーム分ずつの画像データ（フレーム画像の画像データ）が出力されるようになっている。   The imaging control unit 22 combines the light emission timing of the lamp unit 18 and the exposure timing of the camera unit 20 to perform imaging with the set exposure time, and image data (frame image image data) for each frame is obtained as a video signal. It is output.

また、撮像制御部２２では、予め設定した時間間隔で同期信号及び制御信号を出力するようにしてより、カメラユニット２０から映像信号となるフレーム画像が時系列的に出力されるようになっている。これにより、例えば、同期信号の間隔を３３msecとすることにより１秒間に約３０フレームのフレーム画像（映像信号）を出力できるようになっているが、フレーム数はこれに限るものではない。   In addition, the imaging control unit 22 outputs a synchronization signal and a control signal at a preset time interval so that a frame image as a video signal is output in time series from the camera unit 20. . Thereby, for example, by setting the interval of the synchronization signal to 33 msec, a frame image (video signal) of about 30 frames can be output per second. However, the number of frames is not limited to this.

一方、画像処理装置１４には、特定物検出部２４及び画像描画部２６が設けられている。特定物検出部２４では、撮像装置１２から映像信号が入力されることにより、この映像信号から、例えば、歩行者などの所定の対象物を抽出する。なお、対象物の抽出は、例えば、特願２００４−１２５７０５号明細書に記載の方法を用いて対象物の抽出を行い、抽出しや対象物の位置と大きさの情報を、画像描画部２６へ出力する。なお、画像処理装置１４では、特定物検出部２４を設けて、所定の対象物などの検出処理を行うようにしたが、撮像装置１２に接続される画像処理装置は、これに限らず、映像信号を用いた各種の画像処理を実行する機能を持たせることができる。   On the other hand, the image processing apparatus 14 is provided with a specific object detection unit 24 and an image drawing unit 26. In the specific object detection unit 24, when a video signal is input from the imaging device 12, for example, a predetermined object such as a pedestrian is extracted from the video signal. Note that the object is extracted by, for example, extracting the object using the method described in the specification of Japanese Patent Application No. 2004-125705, and extracting and extracting information on the position and size of the object. Output to. In the image processing device 14, the specific object detection unit 24 is provided to perform detection processing of a predetermined object or the like. However, the image processing device connected to the imaging device 12 is not limited to this, and video A function of executing various image processing using signals can be provided.

画像描画部２６では、撮像装置１２から入力される映像信号を、ディスプレイ１６へ出力する。このとき、画像描画部２６では、特定物検出部２４で抽出された対象物の外接矩形を、撮像装置１２から入力された映像信号に描画して、ディスプレイ１６へ出力する。   The image drawing unit 26 outputs a video signal input from the imaging device 12 to the display 16. At this time, the image drawing unit 26 draws the circumscribed rectangle of the object extracted by the specific object detection unit 24 on the video signal input from the imaging device 12 and outputs the image signal to the display 16.

これにより、車両用撮像システム１０では、歩行者などの対象物が、ディスプレイ１６に明確可能となっている。なお、画像描画部２６での描画法は、必ずしも外接矩形である必要はなく、楕円の描画や色の付加など、特定物の存在をわかり易くする方法であれば任意の方法を適用することができる。   Thereby, in the vehicle imaging system 10, an object such as a pedestrian can be clearly displayed on the display 16. The drawing method in the image drawing unit 26 does not necessarily have to be a circumscribed rectangle, and any method can be applied as long as it is a method that makes it easy to understand the existence of a specific object, such as drawing an ellipse or adding a color. .

ところで、本実施の形態に適用した車両用撮像システム１０に用いられる撮像装置１２には、映像分割部２８が設けられており、この映像分割部２８に、カメラユニット２０から映像信号が入力されるようになっている。また、映像分割部２８は、映像信号の出力先として、画像処理装置１４の特定物検出部２４と画像描画部２６が接続しており、映像分割部２８では、入力される映像信号の出力先をフレームごとに切り替え可能となっている。   Incidentally, the imaging device 12 used in the vehicle imaging system 10 applied to the present embodiment is provided with a video dividing unit 28, and a video signal is input from the camera unit 20 to the video dividing unit 28. It is like that. The video dividing unit 28 is connected to the specific object detecting unit 24 and the image drawing unit 26 of the image processing apparatus 14 as an output destination of the video signal. The video dividing unit 28 outputs the output destination of the input video signal. Can be switched for each frame.

撮像制御部２２は、カメラユニット２０から出力される映像信号ごとに、出力先を、特定物検出部２４又は画像描画部２６に切り替えるようになっている。   The imaging control unit 22 switches the output destination to the specific object detection unit 24 or the image drawing unit 26 for each video signal output from the camera unit 20.

一方、撮像制御部２２では、カメラユニット２０を用いた撮像ごとに、ライトユニット１８ないしカメラユニット２０を制御することにより露光制御を行い、カメラユニット２０では、出力する映像信号ごとに明るさのレベルが制御されるようになっている。   On the other hand, the imaging control unit 22 performs exposure control by controlling the light unit 18 to the camera unit 20 for each imaging using the camera unit 20, and the camera unit 20 controls the brightness level for each video signal to be output. Is to be controlled.

このとき、撮像制御部２２では、特定物検出部２４へ出力する映像信号に対しては、明るさレベルを高くしてコントラストの高い映像信号が得られるように露光条件を設定し、画像描画部２６へ出力する映像信号に対しては、ディスプレイ１６に表示したときに、ハレーション等が生じることがない明るさレベルとなるように露光条件を設定するようにしている。   At this time, the imaging control unit 22 sets the exposure condition for the video signal output to the specific object detection unit 24 so that a high contrast level is obtained by increasing the brightness level, and the image drawing unit For the video signal output to 26, the exposure conditions are set so that the brightness level is such that halation does not occur when displayed on the display 16.

画像処理装置１４に設けている特定物検出部２４では、コントラストの高い画質の映像信号が入力されることにより、歩行者などの対象物を的確に抽出可能となっている。   The specific object detection unit 24 provided in the image processing device 14 can accurately extract an object such as a pedestrian by inputting a video signal having high image quality with high contrast.

また、画像描画部２６では、明るさが抑えられた映像信号が入力されることにより、ハレーション等が生じることのなく、眩しさやちらつき感の少ない視認性の高い画像をディスプレイ１６に表示可能となっている。   Further, the image drawing unit 26 can display a high-visibility image with less glare and flickering without causing halation or the like by inputting a video signal with reduced brightness. ing.

このような露光制御は、例えば、ライトユニット１８から発する照明用の光の強度、カメラユニット２０で撮像を行うときの露光時間、撮像素子から出力される電気信号から得られる画像データに対する増幅ゲインなどを制御することにより行われ、例えば、露光時間や増幅ゲインを制御するときには、撮像制御部２２からカメラユニット２０へ出力する露光制御信号を用いて行うことができる。   Such exposure control includes, for example, the intensity of illumination light emitted from the light unit 18, the exposure time when the camera unit 20 performs imaging, the amplification gain for image data obtained from the electrical signal output from the image sensor, and the like. For example, when controlling the exposure time and amplification gain, it can be performed using an exposure control signal output from the imaging control unit 22 to the camera unit 20.

ここで、本実施の形態に適用した車両用撮像システム１０での具体的処理を説明する。   Here, specific processing in the vehicle imaging system 10 applied to the present embodiment will be described.

車両用撮像システム１０に設けている撮像制御部２２では、例えば、１秒間に３０フレーム分の撮像を行い、３０フレーム分のフレーム画像が得られるように制御信号を出力している。このとき、撮像制御部２２では、例えば、奇数番目のフレーム画像を、ディスプレイ１６への表示用とし、偶数番目のフレーム画像を、特定画像の抽出を行うための画像処理用としている。すなわち、表示用のフレーム画像と、画像処理用のフレーム画像を交互に得るようにしている。   In the imaging control unit 22 provided in the vehicle imaging system 10, for example, imaging is performed for 30 frames per second, and a control signal is output so that a frame image for 30 frames is obtained. At this time, the imaging control unit 22 uses, for example, the odd-numbered frame image for display on the display 16 and the even-numbered frame image for image processing for extracting a specific image. That is, a frame image for display and a frame image for image processing are obtained alternately.

なお、撮像制御部２２には、フレーム数をカウントするカウンタが設けられており、このカウンタのカウント値から次のフレームが奇数番目か否かを確認可能となっている。このようなカウンタは、撮像開始時や、所定の時間間隔、フレーム数が所定値に達するタイミングなどの任意のタイミングでカウント値がリセットされるものであってよい。   The imaging control unit 22 is provided with a counter that counts the number of frames, and it is possible to confirm whether or not the next frame is an odd number from the count value of the counter. Such a counter may reset the count value at an arbitrary timing such as the start of imaging, a predetermined time interval, or a timing when the number of frames reaches a predetermined value.

カメラユニット２０では、所定の露光条件で撮像が行われることにより、ハレーションの生じることのない出力レベルの映像信号（表示用映像信号）と、画像処理に適するコントラストの出力レベルとなる映像信号）処理用映像信号）の出力が可能となっており、撮像制御部２２の露光制御信号によって、出力レベルが切り替えられて出力されるようになっている。   In the camera unit 20, imaging is performed under a predetermined exposure condition, so that an output level video signal (display video signal) that does not cause halation and a contrast output level suitable for image processing) processing Video signal) can be output, and the output level is switched by the exposure control signal of the imaging control unit 22 and output.

図２及び図３には、このような構成の車両用撮像システム１０での処理の概略を示している。なお、図２及び図３の処理は、例えば、車両の図示しないイグニッションスイッチがオンされている状態で、さらに、車両用撮像システム１０の電源スイッチがオンされることにより実行され、車両用電源スイッチないしイグニッションスイッチがオフされるなどして、車両用撮像システム１０の作動が停止されることにより終了する。   2 and 3 show an outline of processing in the vehicular imaging system 10 having such a configuration. 2 and 3 are executed when, for example, the ignition switch (not shown) of the vehicle is turned on, and the power switch of the vehicle imaging system 10 is turned on. Alternatively, the operation is terminated when the operation of the vehicle imaging system 10 is stopped, for example, by turning off the ignition switch.

図２には、撮像制御の概略を示しており、このフローチャートでは、最初のステップ１００で、次に撮影を行うフレームが奇数番目か否かを確認する。このときに、１番目などの奇数番目のフレームであると、ステップ１００で肯定判定してステップ１０２へ移行する。   FIG. 2 shows an outline of the imaging control. In this flowchart, in the first step 100, it is confirmed whether or not the next frame to be shot is an odd number. At this time, if it is an odd-numbered frame such as the first, an affirmative determination is made in step 100 and the process proceeds to step 102.

このステップ１０２では、表示用映像信号が得られるように露光条件などの露光制御信号が設定される。この後ステップ１０４では、撮像後にカメラユニット２０から出力される映像信号が、表示用映像信号として画像描画部２６に入力されるように、映像信号の出力先を設定する。   In step 102, an exposure control signal such as an exposure condition is set so that a display video signal is obtained. Thereafter, in step 104, the output destination of the video signal is set so that the video signal output from the camera unit 20 after imaging is input to the image drawing unit 26 as a display video signal.

この後、ステップ１０６では、同期信号に基づいた所定のタイミングでライトユニット１８及びカメラユニット２０へ設定に応じた露光制御信号を出力すると共に、ステップ１０８では、映像信号の出力先を指定する出力先設定信号を、映像分割部２８へ出力する。   Thereafter, in step 106, an exposure control signal corresponding to the setting is output to the light unit 18 and the camera unit 20 at a predetermined timing based on the synchronization signal, and in step 108, an output destination for designating an output destination of the video signal. The setting signal is output to the video dividing unit 28.

これにより、ライトユニット１８では、露光制御信号に基づいて点灯して車両前方を照明する。また、カメラユニット２０では、露光制御信号に基づいた露光時間で撮像を行うと、表示用映像信号に対して設定されている出力レベルとなるように信号処理を行って、映像信号を映像分割部２８へ出力する。   Thereby, in the light unit 18, it lights based on an exposure control signal and illuminates the vehicle front. In addition, in the camera unit 20, when imaging is performed with an exposure time based on the exposure control signal, signal processing is performed so that the output level set for the display video signal is set, and the video signal is divided into a video dividing unit. To 28.

映像分割部２８では、映像信号が入力されると、この映像信号を、出力先設定信号に基づいて、画像処理装置１４の画像描画部２６へ出力する。   When the video signal is input to the video dividing unit 28, the video signal is output to the image drawing unit 26 of the image processing device 14 based on the output destination setting signal.

一方、撮像制御部２２では、次に撮像するフレームが偶数番目であると、ステップ１００で否定判定されてステップ１１０へ移行する。このステップ１１０では、処理用映像信号が得られるように露光条件などの露光制御信号が設定され、ステップ１１２では、撮像後にカメラユニット２０から出力される映像信号が、処理用映像信号として特定物検出部２４へ出力されるように映像信号の出力先を設定する。   On the other hand, the imaging control unit 22 makes a negative determination in step 100 and proceeds to step 110 if the next frame to be captured is an even number. In step 110, an exposure control signal such as an exposure condition is set so that a processing video signal is obtained. In step 112, the video signal output from the camera unit 20 after imaging is detected as a processing video signal. The output destination of the video signal is set so as to be output to the unit 24.

これにより、露光制御信号に基づいた露光条件で撮像が行われ、処理用映像信号に対して設定されている出力レベルとなるように信号処理を行って、映像信号を映像分割部２８へ出力する。   Thereby, imaging is performed under the exposure condition based on the exposure control signal, signal processing is performed so that the output level set for the processing video signal is set, and the video signal is output to the video dividing unit 28. .

映像分割部２８では、この映像信号が入力されることにより、出力先設定信号に基づいて、画像処理装置１４の特定物検出部２４へ出力する。   The video dividing unit 28 receives this video signal and outputs it to the specific object detecting unit 24 of the image processing device 14 based on the output destination setting signal.

これにより、図３に示すように、フレーム画像３０が時系列的に出力されるときに、奇数番目のフレーム画像３０_n1、３０_n3、３０_n5・・の映像信号は、出力レベルがディスプレイ１６への表示用に調整され、偶数番目のフレーム画像３０_n2、３０_n4、３０_n6・・の映像信号は、出力レベルが処理用に調整される。 3, when the frame image 30 is output in time series, the output levels of the odd-numbered frame images 30 _n1 , 30 _n3 , 30 _n5 ... _Are output to the display 16. The output levels of the video signals of the even-numbered frame images 30 _n2 , 30 _n4 , 30 _n6 ... _Are adjusted for processing.

また、フレーム画像３０は、表示用のフレーム画像３０_n1、３０_n3、３０_n5・・と、処理用のフレーム画像３０_n2、３０_n4、３０_n6・・が、仕分けられて画像描画部２６と特定物検出部２４へ出力される。 Further, the frame image 30 is classified into the display image frame images 30 _n1 , 30 _n3 , 30 _n5 ... And the processing frame images 30 _n2 , 30 _n4 , 30 _n6. It is output to the object detection unit 24.

図４には、車両用撮像システム１０に設けている画像処理装置１４での処理の概略を示している。このフローチャートでは、ステップ１２０で画像描画部２６に表示用となる映像信号が入力されたか否かを確認し、ステップ１２２で、特定物検出部２４で処理用となる映像信号が入力されたか否かを確認する。   FIG. 4 shows an outline of processing in the image processing apparatus 14 provided in the vehicle imaging system 10. In this flowchart, it is confirmed whether or not a video signal for display is input to the image drawing unit 26 in step 120, and whether or not a video signal for processing is input in the specific object detection unit 24 in step 122. Confirm.

ここで、偶数番目のフレームの撮像が行われて、処理用の映像信号として特定物検出部２４へ入力されると、ステップ１２０で否定判定されると共にステップ１２２で肯定判定されて、ステップ１２４へ移行する。このステップ１２４では、入力された処理用映像信号に対して所定の画像処理を行うことにより、歩行者などの特定の対象物を抽出する。   Here, when an even-numbered frame is imaged and input to the specific object detection unit 24 as a video signal for processing, a negative determination is made in step 120 and an affirmative determination is made in step 122, and then to step 124. Transition. In step 124, a specific object such as a pedestrian is extracted by performing predetermined image processing on the input processing video signal.

このとき、特定物検出部２４では、コントラストの高い画質の映像信号が入力されるため、映像信号となるフレーム画像に、歩行者などの特定の対象物を的確に抽出することができる。   At this time, the specific object detection unit 24 receives a high-contrast video signal, so that a specific object such as a pedestrian can be accurately extracted from the frame image that is the video signal.

特定の対象物を検出すると、ステップ１２６では、検出した対象物の外接矩形の情報を表示用の映像信号の描画用としてメモリに記憶する。   When a specific object is detected, in step 126, information of a circumscribed rectangle of the detected object is stored in a memory for drawing a video signal for display.

一方、奇数番目のフレームの撮像が行われて、表示用の映像信号が画像描画部２６に入力されると、ステップ１２０で肯定判定されてステップ１２８へ移行する。このステップ１２８では、先に入力された映像信号から対象物が抽出され、抽出された対象物の外接矩形の情報がメモリに格納されているか否かを確認する。   On the other hand, when an odd-numbered frame is imaged and a display video signal is input to the image drawing unit 26, an affirmative determination is made in step 120 and the process proceeds to step 128. In this step 128, the object is extracted from the previously inputted video signal, and it is confirmed whether or not the circumscribed rectangle information of the extracted object is stored in the memory.

ここで、特定物検出部２４で対象物が検出されて、検出された対象物の外接矩形の情報が格納されていると、ステップ１２８で肯定判定してステップ１３０へ移行する。このステップ１３０では、抽出されている対象物の外接矩形の情報を、映像信号に描画し、生成した映像信号をディスプレイ１６へ出力する。   If the target object is detected by the specific object detection unit 24 and the circumscribed rectangle information of the detected object is stored, an affirmative determination is made in step 128 and the process proceeds to step 130. In step 130, the circumscribed rectangle information of the extracted object is drawn on the video signal, and the generated video signal is output to the display 16.

なお、対象物が抽出されていないときには、ステップ１２８で否定判定されて、カメラユニット２０から入力された映像信号がディスプレイ１６へ出力される。   When no object is extracted, a negative determination is made in step 128, and the video signal input from the camera unit 20 is output to the display 16.

このように、撮像装置１２では、奇数番目のフレーム画像の映像信号を出力するときには、出力レベルを押さえ、ディスプレイ１６に表示した時に、ハレーション等が生じることがない画質の映像信号を出力する。また、撮像装置１２では、偶数番目のフレーム画像の映像信号を出力するときに、コントラストの高い画質の映像信号となるように出力レベルを調整している。   As described above, when outputting the video signal of the odd-numbered frame image, the imaging device 12 suppresses the output level and outputs a video signal having an image quality that does not cause halation or the like when displayed on the display 16. Further, in the imaging device 12, when the video signal of the even-numbered frame image is output, the output level is adjusted so that the video signal has a high image quality with high contrast.

これにより、ディスプレイ１６には、ハレーションの生じることがない画像を表示することができる。また、特定物検出部２４では、フレーム画像に含まれる対象物を的確に検出することができ、抽出した対象物を映像信号に描画することにより、ディスプレイ１６には、この対象物が明確に表示される。   As a result, an image that does not cause halation can be displayed on the display 16. In addition, the specific object detection unit 24 can accurately detect the target object included in the frame image, and the target object is clearly displayed on the display 16 by drawing the extracted target object on the video signal. Is done.

したがって、運転者がディスプレイ１６に表示される対向車のヘッドライトなどによって幻惑されてしまうのを確実に防止しながら、運転者が歩行者などの車両前方の対象物の存在を的確に把握することが可能となる。   Therefore, the driver accurately grasps the presence of an object in front of the vehicle such as a pedestrian while reliably preventing the driver from being obscured by the headlight of the oncoming vehicle displayed on the display 16. Is possible.

また、運転者に対するこのような的確な視覚支援を可能とするときに、車両用撮像システム１０では、１台のカメラユニット２０のみで行うことできるので、車両への据付性が損なわれることがなく、また、的確な視覚支援を行うためのコスト上昇を抑えることが可能となる。   Further, when such accurate visual support for the driver is possible, the vehicle imaging system 10 can be performed by only one camera unit 20, so that the installation property to the vehicle is not impaired. In addition, it is possible to suppress an increase in cost for providing accurate visual support.

また、時系列的に出力されるフレーム画像３０の映像信号を、表示用と処理用に分割することにより、表示用に用いるフレーム数が減少するが、ディスプレイ１６の表示に用いるフレーム数は、１秒間に１０フレーム程度以上であれば、表示画像に違和感は少ない。すなわち、ここでは、３０フレーム／secのフレーム画像３０を２分割しているので、表示用のフレーム画像は、１５フレーム／secとなるので、ディスプレイ１６の表示画像に違和感を生じさせることがない。   Further, by dividing the video signal of the frame image 30 output in time series for display and processing, the number of frames used for display decreases, but the number of frames used for display on the display 16 is 1 If it is about 10 frames or more per second, the display image is less uncomfortable. That is, here, since the frame image 30 of 30 frames / sec is divided into two, the frame image for display is 15 frames / sec, so that the display image on the display 16 does not feel uncomfortable.

なお、ここでは、奇数番目と偶数番目で、映像信号を表示用とするか処理用とするかの切り替えを行っているが、表示用と処理用の切り替えはこれに限るものではなく、例えば、１番目、４番目、７番目・・などのフレーム画像を表示用とし、２番目、３番目、５番目、６番目・・などのフレーム画像を処理用としても良い。すなわち、自然数mのｎ（正の整数）倍番目のフレーム画像を表示用とし、それ以外のフレーム画像を処理用とするなど、任意の分割方法を適用することができる。   Note that here, the odd-numbered and even-numbered video signals are switched between display and processing, but switching between display and processing is not limited to this, for example, The first, fourth, seventh, etc. frame images may be used for display, and the second, third, fifth, sixth, etc. frame images may be used for processing. In other words, any division method can be applied, such as displaying a frame image that is n (a positive integer) times the natural number m for display and other frame images for processing.

このとき、ディスプレイ１６の表示用に用いるフレーム数を、少なくとも１０フレーム／secとすることにより、ディスプレイ１６の表示画像に違和感を生じさせてしまうのを防止できる。ここから、カメラユニット２０が出力するフレーム数が３０フレーム／secであれば、２フレームのうちの１フレーム又は３フレームのうちの１フレームを表示用とすることができる。   At this time, by setting the number of frames used for display on the display 16 to at least 10 frames / sec, it is possible to prevent the display image on the display 16 from feeling uncomfortable. From here, if the number of frames output by the camera unit 20 is 30 frames / sec, one of the two frames or one of the three frames can be used for display.

また、奇数番目のフレーム画像３０を表示用とし、偶数番目のフレーム画像を画像処理用としたが、これに限らず、奇数番目を画像処理用とし、偶数番目を表示用としても良い。   Further, although the odd-numbered frame image 30 is used for display and the even-numbered frame image is used for image processing, the present invention is not limited to this, and the odd-numbered image may be used for image processing and the even-numbered image may be used for display.

一方、ここでは、予め設定している露光条件に基づいて撮像を行ったときに、表示用及び処理用に適した出力レベルの映像信号を得られるように説明したが、露光時間、ランプユニット１８の発する光の強度などの露光条件を設定することにより、表示用及び処理用に適した出力レベルの映像信号が得られるようにしても良い。   On the other hand, here, it has been described that an image signal having an output level suitable for display and processing can be obtained when imaging is performed based on a preset exposure condition. By setting exposure conditions such as the intensity of the light emitted from the video signal, a video signal having an output level suitable for display and processing may be obtained.

また、例えば、対象物を的確に抽出して、ディスプレイ１６に明確に表示可能とするときには、少なくも処理用の映像信号上で、対象物のコントラストが高いことが望ましく、ここから、フレーム画像上の対象物の位置に応じてランプユニット１８が発する光の強度や方向を制御するようにしても良い。   Further, for example, when the object is accurately extracted and can be clearly displayed on the display 16, it is desirable that the contrast of the object is high on the video signal for processing at least. The intensity and direction of light emitted from the lamp unit 18 may be controlled in accordance with the position of the target object.

図５には、このときに適用可能なランプユニット１８の概略構成を示している。このランプユニット１８には、カメラユニット２０が撮像可能な所定波長の光を発する複数の発光素子４０と、発光素子４０を駆動する点灯駆動回路４２を含んでいる。点灯駆動回路４２は、撮像制御部２２から、ランプユニット１８に対する露光制御信号として、発光素子４０の発光制御信号が入力されることにより、この発光制御信号に基づいて発光素子４０を点灯する。   FIG. 5 shows a schematic configuration of the lamp unit 18 applicable at this time. The lamp unit 18 includes a plurality of light emitting elements 40 that emit light of a predetermined wavelength that can be imaged by the camera unit 20, and a lighting drive circuit 42 that drives the light emitting elements 40. The lighting drive circuit 42 lights the light emitting element 40 based on the light emission control signal when the light emission control signal of the light emitting element 40 is input as an exposure control signal for the lamp unit 18 from the imaging control unit 22.

このとき、点灯駆動回路４２では、発光素子４０の駆動電流や駆動電圧（駆動電力）を制御することにより、個々の発光素子４０が発する光の強度を制御する。   At this time, the lighting drive circuit 42 controls the intensity of light emitted by each light emitting element 40 by controlling the driving current and driving voltage (driving power) of the light emitting element 40.

また、ランプユニット１８では、主として車両の前方側（矢印Ｆ方向）へ向けて光を発する発光素子群４４Ｆと共に、主として車両前方の右側（矢印ＦＲ方向）へ向けており、光を発する発光素子群４４ＦＲ及び、主として車両前方の左側（矢印ＦＬ方向）へ向けており、光を発する発光素子群４４ＦＬが設けられている。   In the lamp unit 18, the light emitting element group 44F that emits light mainly toward the front side of the vehicle (in the direction of arrow F) and the light emitting element group that emits light mainly toward the right side of the front of the vehicle (in the direction of arrow FR). 44FR and a light emitting element group 44FL that emits light, which is directed to the left side (arrow FL direction) mainly in front of the vehicle.

これによりランプユニット１８では、車両前方側に照射する光の強度を大きくすることができると共に、車両前方の右側及び左側のそれぞれへ照射する光の強度を大きくすることができるようになっている。   As a result, the lamp unit 18 can increase the intensity of light applied to the front side of the vehicle, and can increase the intensity of light applied to the right side and the left side of the front side of the vehicle.

このような、ランプユニット１８が設けられているときには、撮像制御部２２では、画像処理装置１４の特定物検出部２４が出力する対象物の画像データが入力されることにより、処理用のフレームを撮像するときに、この対象物へ照射する光が強くなるようにランプユニット１８の点灯制御を行うようになっている。   When such a lamp unit 18 is provided, the imaging control unit 22 receives the image data of the target object output from the specific object detection unit 24 of the image processing device 14, thereby processing frames. When the imaging is performed, the lighting control of the lamp unit 18 is performed so that the light applied to the object becomes strong.

ここで、まず、露光条件を制御して、表示用及び処理用に適した出力レベルの映像信号を出力する例を説明する。なお、このときには、撮像制御部２２が、表示用の映像信号及び、処理用の映像信号のそれぞれを読み込んで、露光条件を設定することにより、出力レベルを制御する出力レベルのフィードバック制御を行うものとする。   Here, first, an example will be described in which the exposure condition is controlled to output a video signal having an output level suitable for display and processing. In this case, the imaging control unit 22 performs feedback control of the output level for controlling the output level by reading each of the display video signal and the processing video signal and setting the exposure condition. And

図６には、このときの処理の概略を示している。なお、ここでは、前記した図２のフローチャートと同等の処理には、同じステップ番号を付与して、その詳細な説明を省略する。   FIG. 6 shows an outline of the processing at this time. Here, the same step number is assigned to the process equivalent to the flowchart of FIG. 2 described above, and the detailed description thereof is omitted.

このフローチャートでは、奇数番目のフレーム画像の撮像を行うときには、ステップ１００で肯定判定してステップ１４０へ移行する。このステップ１４０では、表示用として設定されている露光条件を設定し、ステップ１０４では、該当するフレーム画像の出力先を、画像描画部２６に設定し、この後に、露光条件に基づいた露光制御信号をランプユニット１８及びカメラユニット２０へ出力することにより撮像を行うと共に、撮像したフレームの出力先設定を映像分割部２８へ出力する。   In this flowchart, when an odd-numbered frame image is captured, an affirmative determination is made in step 100 and the process proceeds to step 140. In step 140, the exposure condition set for display is set. In step 104, the output destination of the corresponding frame image is set in the image drawing unit 26. Thereafter, an exposure control signal based on the exposure condition is set. Is output to the lamp unit 18 and the camera unit 20, and the output destination setting of the captured frame is output to the video dividing unit 28.

このとき、ステップ１４０で設定される露光条件（露光制御信号）からランプユニット１８は、光のオン／オフ（点灯／消灯）と共に、点灯時に発する光の強度が制御され、カメラユニット２０では、撮像素子で受光するときの受光時間である露光時間（電子シャッターのシャッタースピード）などが制御される。   At this time, the lamp unit 18 controls on / off (lighting / extinguishing) of light and the intensity of light emitted during lighting from the exposure condition (exposure control signal) set in step 140. The exposure time (shutter speed of the electronic shutter) that is the light reception time when receiving light by the element is controlled.

また、偶数番目のフレーム画像の撮像を行うときには、ステップ１００で否定判定してステップ１４２へ移行することにより、画像処理用として設定されている露光条件を設定すると共に、出力先を設定し（ステップ１１２）、設定に基づいた露光制御を行う。これにより撮像された映像信号が、特定物検出部２４へ出力される。   When capturing an even-numbered frame image, a negative determination is made in step 100 and the process proceeds to step 142 to set exposure conditions set for image processing and set an output destination (step 112), exposure control based on the setting is performed. As a result, the captured video signal is output to the specific object detection unit 24.

一方、次のステップ１４４では映像分割部２８から出力される映像信号を読み込み、ステップ１４６で読み込んだ映像信号が、表示用か否かを判定する。すなわち、奇数番目のフレーム画像か偶数番目のフレーム画像かを判定する。   On the other hand, in the next step 144, the video signal output from the video dividing unit 28 is read, and it is determined whether or not the video signal read in step 146 is for display. That is, it is determined whether it is an odd-numbered frame image or an even-numbered frame image.

ここで、映像分割部２８から表示用（奇数番目）として出力されフレーム画像の映像信号を読み込むと、ステップ１４６で肯定判定してステップ１４８へ移行する。   Here, when a video signal of a frame image output for display (odd number) is read from the video dividing unit 28, an affirmative determination is made in step 146 and the process proceeds to step 148.

このステップ１４８では、映像信号に対して所定の画像処理を行うことにより、出力レベルを検出し、検出結果から出力レベルが表示用として適切となるように、表示用の映像信号に対する露光条件を補正し、補正した露光条件を、次に表示用の撮像を行うときの露光条件に設定されるようにメモリする。   In this step 148, predetermined image processing is performed on the video signal to detect the output level, and the exposure condition for the video signal for display is corrected so that the output level is appropriate for display from the detection result. Then, the corrected exposure condition is memorized so as to be set as the exposure condition for the next imaging for display.

また、映像分割部２８から処理用（偶数番目）として出力されフレーム画像の映像信号を読み込むと、ステップ１４６で否定判定してステップ１５０へ移行し、映像信号に対して所定の画像処理を行うことにより、出力レベルを検出し、検出結果から出力レベルが処理用として適切となるように、処理用の映像信号に対する露光条件を補正し、補正した露光条件を、次に処理用の撮像を行うときの露光条件に設定されるようにメモリする。   Further, when a video signal of a frame image output for processing (even number) is read from the video dividing unit 28, a negative determination is made in step 146 and the process proceeds to step 150 to perform predetermined image processing on the video signal. To detect the output level and correct the exposure condition for the processing video signal so that the output level is appropriate for processing from the detection result, and then perform the imaging for the processing after the corrected exposure condition The memory is set so that the exposure conditions are set.

このようにして、表示用の映像信号及び処理用の映像信号に対する露光条件が設定されることにより、表示用及び処理用に適した画質のフレーム画像が得られる。   Thus, by setting the exposure conditions for the display video signal and the processing video signal, a frame image having an image quality suitable for display and processing can be obtained.

一方、前記したように、特定画像に対する適切な抽出と的確な表示を行うときには、抽出する特定画像のコントラストを高くすることが好ましく、このときの処理を、図７に示すフローチャートを参照しながら説明する。なお、このフローチャートの基本的構成は、前記した図６のフローチャートと同じとしており、同等の処理には、同じステップ番号を付与してその説明を省略する。   On the other hand, as described above, when performing appropriate extraction and accurate display on a specific image, it is preferable to increase the contrast of the specific image to be extracted. Processing at this time will be described with reference to the flowchart shown in FIG. To do. The basic configuration of this flowchart is the same as that of the flowchart of FIG. 6 described above, and the same step numbers are assigned to equivalent processes, and the description thereof is omitted.

このフローチャートでは、ステップ１４０又はステップ１４２で露光条件を設定するときに、ランプユニット１８から照射する光の強度を強くするように設定する。なお、このときの初期値としては、発光素子群４４Ｆ、４４ＦＲ、４４ＦＬの全てを予め設定している基準の強度とするものであってよい。   In this flowchart, when the exposure condition is set in step 140 or step 142, the intensity of light emitted from the lamp unit 18 is set to be increased. It should be noted that the initial value at this time may be set to a reference intensity set in advance for all of the light emitting element groups 44F, 44FR, and 44FL.

また、このフローチャートでは、ステップ１５２で特定物検出部２４が出力する特定画像の外接矩形情報を読み込むと、ステップ１５４へ移行する。このステップ１５４では、特定画像の外接矩形情報から、抽出した領域へ向けて照射する光の強度が大きくなるように露光条件を設定する。   In this flowchart, when the circumscribed rectangle information of the specific image output from the specific object detection unit 24 is read in step 152, the process proceeds to step 154. In this step 154, the exposure condition is set so that the intensity of the light irradiated toward the extracted area from the circumscribed rectangle information of the specific image increases.

ライトユニット１８は、このようにして設定された露光条件に基づいて発光素子群４４Ｆ、４４ＦＲ、４４ＦＬの発光素子４０を点灯駆動するときに、設定された方向へ向けた光の強度が大きくなるようにする。例えば、車両前方の左側に歩行者などが抽出されているときには、発光素子群４２ＦＬの各発光素子４０を駆動するときの駆動電流（駆動電力）を大きくする。   When the light unit 18 drives the light emitting elements 40 of the light emitting element groups 44F, 44FR, and 44FL to light on the basis of the exposure conditions set in this way, the light intensity in the set direction increases. To. For example, when a pedestrian or the like is extracted on the left side in front of the vehicle, the drive current (drive power) when driving each light emitting element 40 of the light emitting element group 42FL is increased.

これにより、処理用として撮像されたフレーム画像では、対象物に向けて強い光が照射され、該当対象物のコントラストが高くなった映像信号が得られる。   Thereby, in the frame image imaged for processing, strong light is irradiated toward the target object, and a video signal in which the contrast of the target object is increased is obtained.

このような映像信号を特定画像の抽出に用いることにより、特定画像をより的確に、かつ高精度で抽出して、ディスプレイ１６に表示することができる。   By using such a video signal for extraction of a specific image, the specific image can be extracted more accurately and with high accuracy and displayed on the display 16.

なお、ここでは、特定画像へ向けて照射する光の強度を強くするようにしたが、これに限らず、例えば、表示用として出力される映像信号から、ハレーションを生じさせる明るい領域があるか否かを検知し、該当領域を抽出したときには、その領域へ向けて照射する光の強度と、他の領域に照射する光の強度の間に相対的な差を生じさせるようにしても良い。   Here, the intensity of light emitted toward the specific image is increased. However, the present invention is not limited to this. For example, there is a bright region that causes halation from a video signal output for display. When this is detected and the corresponding area is extracted, a relative difference may be generated between the intensity of the light irradiated toward the area and the intensity of the light irradiated on the other area.

これにより、対向車のヘッドライトなどに起因するハレーションを抑えながら、該当領域を除く領域の階調を上げることができるので、表示用のフレーム画像の視認性を向上させることができる。   Accordingly, it is possible to increase the gradation of the area excluding the corresponding area while suppressing the halation caused by the headlights of the oncoming vehicle, so that the visibility of the display frame image can be improved.

なお、以上説明した本実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、撮像装置として、車両用撮像システム１０に、画像処理装置１４及びディスプレイ１６と共に設けた撮像装置１２を例に説明したが、本発明は、撮像装置１２に限らず、カメラユニット２０の撮像を時系列的に出力する任意の構成の撮像装置を適用することができる。   In addition, this Embodiment demonstrated above does not limit the structure of this invention. For example, in the present embodiment, the imaging apparatus 12 provided in the vehicle imaging system 10 together with the image processing apparatus 14 and the display 16 has been described as an example of the imaging apparatus. However, the present invention is not limited to the imaging apparatus 12. An imaging device having an arbitrary configuration that outputs images of the camera unit 20 in time series can be applied.

また、本実施の形態では、撮像装置を車両用撮像システム１０に用いて説明したが、本発明は、これに限らず、任意の画像を撮像して、撮像した映像信号をディスプレイ１６等の表示手段に表示しながら、画像処理を実行する任意の構成の撮像システムに適用することができる。   In the present embodiment, the image pickup apparatus is described as being used in the vehicle image pickup system 10. However, the present invention is not limited to this, and an arbitrary image is picked up and the picked up video signal is displayed on the display 16 or the like. The present invention can be applied to an imaging system having an arbitrary configuration that executes image processing while displaying on the means.

本実施の形態に適用した撮像装置及び撮像装置を設けた車両用撮像システムの概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the imaging device for vehicles which provided the imaging device applied to this Embodiment and the imaging device. 撮像装置での基本的処理の一例を示す流れ図である。It is a flowchart which shows an example of the basic process in an imaging device. 撮影によって得られるフレーム画像とフレーム画像の分割を示す概略図である。It is the schematic which shows the division | segmentation of the frame image obtained by imaging | photography, and a frame image. 撮像装置によって得られる映像信号の処理の一例を示す流れ図である。It is a flowchart which shows an example of a process of the video signal obtained by an imaging device. 投光手段として本発明に適用可能なランプユニットの一例を示す要部の概略構成図である。It is a schematic block diagram of the principal part which shows an example of the lamp unit applicable to this invention as a light projection means. 撮像装置での処理の他の一例を示す流れ図である。It is a flowchart which shows another example of the process in an imaging device. 図６の処理に、ランプユニットの照射方向及び照射強度の制御を加えた一例を示す流れ図である。It is a flowchart which shows an example which added control of the irradiation direction and irradiation intensity | strength of a lamp unit to the process of FIG.

符号の説明Explanation of symbols

１０ 車両用撮像システム（撮像装置）
１２ 撮像装置
１４ 画像処理装置
１６ ディスプレイ
１８ ライトユニット（投光手段）
２０ カメラユニット（撮像手段、レベル調整手段）
２２ 撮像制御部（分割手段、レベル調整手段）
２４ 特定物検出部
２６ 画像描画部
２８ 映像分割部（分割手段）
３０ フレーム画像
３０_n1、３０_n3、３０_n5 フレーム画像（第一又は第二のフレーム画像）
３０_n2、３０_n4、３０_n6 フレーム画像（第一又は第二のフレーム画像）
４０ 発光素子（投光手段）
４２ 点灯駆動回路
４４Ｆ、４４ＦＲ、４４ＦＬ 発光素子群（投光手段） 10 Vehicle imaging system (imaging device)
12 imaging device 14 image processing device 16 display 18 light unit (light projection means)
20 Camera unit (imaging means, level adjustment means)
22 Imaging control unit (dividing means, level adjusting means)
24 specific object detection unit 26 image drawing unit 28 video dividing unit (dividing means)
30 frame image 30 _n1 , 30 _n3 , 30 _n5 frame image (first or second frame image)
30 _n2 , 30 _n4 , 30 _n6 frame images (first or second frame images)
40 Light emitting element (light projection means)
42 lighting drive circuit 44F, 44FR, 44FL Light emitting element group (light projection means)

Claims (6)

所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列順に出力する撮像手段と、
前記撮像手段から時系列順に出力される前記フレーム画像を第１のフレーム画像と第２のフレーム画像とに時間分割して出力する分割出力手段と、
前記第１のフレーム画像及び前記第２のフレーム画像の一方の画像に基づいて、前記撮像手段から次に出力される該一方の画像の明るさのレベルを表示用途に適した明るさのレベルに調整し、前記第１のフレーム画像及び前記第２のフレーム画像の他方の画像に基づいて、前記撮像手段から次に出力される該他方の画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するレベル調整手段と、
を含む撮像装置。 Imaging means for imaging an object at a predetermined frame rate and outputting frame images obtained by imaging in time series;
Division output means for time-dividing and outputting the frame image output in time series from the imaging means into a first frame image and a second frame image;
Based on one image of the first frame image and the second frame image, the brightness level of the one image output next from the imaging means is set to a brightness level suitable for display use. And adjusting the brightness level of the other image output next from the imaging means based on the other image of the first frame image and the second frame image. Level adjusting means for adjusting to the level,
An imaging apparatus including: 前記分割出力手段は、自然数の倍数番目のフレーム画像を前記第１のフレーム画像とし、残りのフレーム画像を前記第２のフレーム画像として時間分割する請求項１記載の撮像装置。   The imaging apparatus according to claim 1, wherein the division output unit time-divides a frame image that is a multiple of a natural number as the first frame image and the remaining frame image as the second frame image. 前記分割出力手段は、偶数番目のフレーム画像を前記第１のフレーム画像として分割するか、または３の倍数番目のフレーム画像を前記第２のフレーム画像として時間分割する請求項１記載の撮像装置。   The imaging apparatus according to claim 1, wherein the division output unit divides an even-numbered frame image as the first frame image, or time-divides a multiple-third frame image as the second frame image. 前記レベル調整手段は、前記撮像手段の撮像素子の露光時間及び該撮像素子から出力される出力信号の増幅率の少なくとも一方の調整によって明るさのレベルを調整する請求項１〜請求項３のいずれか１項記載の撮像装置。   The level adjustment means adjusts the brightness level by adjusting at least one of an exposure time of an image pickup device of the image pickup means and an amplification factor of an output signal output from the image pickup device. An imaging apparatus according to claim 1. 前記表示用途に適した明るさのレベルを、表示画像にハレーションが生じないレベルとし、前記画像処理用途に適した明るさのレベルを、特定対象物のコントラストが最も高くなるレベルとした請求項１〜請求項４のいずれか１項記載の撮像装置。   The brightness level suitable for the display application is set to a level at which no halation occurs in the display image, and the brightness level suitable for the image processing application is set to a level at which the contrast of the specific object is highest. The imaging device according to any one of claims 4 to 4. 前記撮像手段が撮像するエリアを照明し、その発光強度及び発光方向の少なくとも一方が制御可能な投光手段を更に含み、
前記制御手段は、画像の明るさのレベルを表示用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を表示用途に適するように制御すると共に、画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を画像処理用途に適するように制御する請求項１〜請求項５のいずれか１項記載の撮像装置。 Illuminating an area to be imaged by the imaging means, and further includes a light projecting means capable of controlling at least one of its emission intensity and emission direction,
The control means controls to adjust at least one of the light emission intensity and the light emission direction of the light projecting means in synchronism with the adjustment of the brightness level of the image to the brightness level suitable for the display application. In addition, in synchronization with the adjustment of the brightness level of the image to the brightness level suitable for the image processing application, control is performed so that at least one of the light emission intensity and the light emitting direction of the light projecting means is suitable for the image processing application. The imaging device according to any one of claims 1 to 5.

Images