JP5778006B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5778006B2
JP5778006B2 JP2011255162A JP2011255162A JP5778006B2 JP 5778006 B2 JP5778006 B2 JP 5778006B2 JP 2011255162 A JP2011255162 A JP 2011255162A JP 2011255162 A JP2011255162 A JP 2011255162A JP 5778006 B2 JP5778006 B2 JP 5778006B2
Authority
JP
Japan
Prior art keywords
speed
image
setting value
image quality
quality setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011255162A
Other languages
Japanese (ja)
Other versions
JP2013109638A (en
Inventor
宏平 伊藤
宏平 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2011255162A priority Critical patent/JP5778006B2/en
Publication of JP2013109638A publication Critical patent/JP2013109638A/en
Application granted granted Critical
Publication of JP5778006B2 publication Critical patent/JP5778006B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の周囲の撮像画像の画質を制御して表示する画像処理装置及び画像処理方法に関する。
The present invention relates to an image processing apparatus and an image processing method for controlling and displaying the image quality of a captured image around a vehicle.

従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。   2. Description of the Related Art Conventionally, a technique has been used in which a surrounding image is captured by a camera mounted on a vehicle, and the surrounding environment of the vehicle is monitored using the surrounding image. And the technique which improves the visibility of a captured image by adjusting image quality setting values, such as the brightness of an image, for example according to the driving | running | working state of a vehicle is also proposed.

例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。   For example, as described in Patent Document 1, as the traveling speed of the vehicle increases, a range corresponding to a distant region in the captured peripheral region image is set as a photometric region, and the captured image is referred to this photometric region. Adjust the brightness. Accordingly, the brightness of the captured image can be appropriately adjusted in response to the driver's viewpoint turning away as the traveling speed increases.

特開平9−142210号公報JP-A-9-142210

しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。   However, the image quality adjustment of the captured image in the prior art described above is merely to improve the driver's visibility because the brightness is adjusted in accordance with the image area that the driver gazes at.

一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、渋滞などによって車両が走行と停止を高い頻度で繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、表示させる画像としての品質が低下する。そのため、走行速度の増減によって画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。   On the other hand, in recent years, a technique has been used in which specific objects such as other vehicles and traffic lights in a captured image are recognized by image recognition processing, and state information related to them is acquired and monitored in detail. In order to improve the accuracy and processing speed of the image recognition process, it is necessary to adjust the image quality of the captured image with an image quality setting value suitable for each recognition object. In many cases, the recognition object is switched by increasing or decreasing the traveling speed. For this reason, when a vehicle repeats driving | running | working and a stop with high frequency by traffic congestion etc., the image quality of a captured image will be switched frequently according to it. For example, when the image quality setting value to be adjusted is brightness, the brightness and darkness of the captured image is rapidly and frequently switched to blink, and the quality as an image to be displayed is reduced. Therefore, there has been a demand for a technique that can improve the quality of a captured image to be displayed even when the image quality is switched by increasing or decreasing the traveling speed.

本発明が解決しようとする課題には、上記した問題が一例として挙げられる。   The problem to be solved by the present invention includes the above-described problem as an example.

上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設け、前記撮像手段は、前記移動体の前方画像を撮像し、前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する。
In order to solve the above-mentioned problem, the invention according to claim 1 is an image processing apparatus, which is mounted on a moving body and picks up an image around the moving body, and a moving speed of the moving body. Detection means for detecting the moving speed, a calculating means for calculating an image quality setting value when the imaging means picks up an image according to the moving speed detected by the detecting means, and the calculation means calculated by the calculating means A plurality of control means for controlling the image quality of the image picked up by the image pickup means corresponding to the image quality setting value; a display means for displaying the image picked up by the image pickup means; Recognizing means for recognizing recognition objects set corresponding to the fixed speed areas from the images picked up by the image pickup means, and the calculating means includes image quality setting values in each of the plurality of fixed speed areas. The And sets in response to serial recognized, between the plurality of fixed speed ranges, provided a continuous change speed range to continuously change corresponding to the image quality setting value to the moving speed, the imaging means, the A front image of a moving object is captured, and the recognition means recognizes a traffic signal in a fixed speed region where the moving speed is near a stop state, and recognizes a preceding vehicle in a fixed speed region where the moving speed is equal to or higher than a predetermined speed. The calculation means sets the image quality setting value to be calculated as the brightness of the image, sets the image quality setting value to a predetermined stop-time setting value in a fixed speed region where the moving speed is near the stop state, the mobile speed is a fixed rate region the is the predetermined speed or more is to set the image quality setting value brighter than the predetermined stop time setting.

上記課題を解決するために、請求項6記載の発明は、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける画像処理方法であって、前記撮像工程では、前記移動体の前方画像を撮像し、前記認識工程では、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、前記算出工程では、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定するIn order to solve the above problems, the invention according to claim 6 includes an imaging step of capturing an image around the moving body, a detection step of detecting a moving speed is the speed of movement of the movable body, the detection step A calculation step of calculating an image quality setting value when the image is picked up in the imaging step according to the moving speed detected in step, and an image picked up in the imaging step corresponding to the image quality setting value calculated in the calculation step A control process for controlling the image quality of the image, a display process for displaying the image captured in the imaging process, and a recognition target set corresponding to each of a plurality of fixed speed areas in which the image quality setting values are fixedly set. A recognition step for recognizing from the image captured in the imaging step, and in the calculation step, an image quality setting value in each of the plurality of fixed speed regions is set corresponding to the recognition target. Between the plurality of fixed speed region, an image processing method of Ru provided a continuous change speed range to continuously change corresponding to the image quality setting value to the moving speed, in the imaging step, in front of the moving body In the recognition step, the traffic signal is a recognition target in the fixed speed region where the moving speed is near the stop state, and the vehicle in front is recognized in the fixed speed region where the moving speed is equal to or higher than a predetermined speed. In the calculation step, the image quality setting value to be calculated is set as the brightness of the image, the image quality setting value is set to a predetermined stop-time setting value in a fixed speed region where the moving speed is close to a stop state, and the moving speed is In the fixed speed region that is equal to or higher than the predetermined speed, the image quality setting value is set brighter than the predetermined stop setting value .

本発明の画像処理装置を搭載した車両の構成例の一例を示す斜視図である。It is a perspective view which shows an example of the structural example of the vehicle carrying the image processing apparatus of this invention. 実施形態の画像処理装置のシステム構成の一例を示すブロック図である。1 is a block diagram illustrating an example of a system configuration of an image processing apparatus according to an embodiment. 走行中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。It is a figure showing the example of a display at the time of displaying on a display the front picture imaged with the front camera during driving. 停車中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。It is a figure showing the example of a display at the time of displaying a front picture picturized with a front camera on a display while stopping. 従来比較例の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。It is an example of the time chart which compares and compares the image recognition performed in parallel with the method of the conventional comparative example, and each process of a drive recorder. 実施形態で適用する画質設定値の変化設定を表す車速対明るさのチャートの一例である。It is an example of the chart of the vehicle speed versus brightness showing the change setting of the image quality setting value applied in the embodiment. 実施形態の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。It is an example of the time chart which compares and shows each process of the image recognition performed in parallel with the method of embodiment, and a drive recorder. イメージングユニットのCPUが実行する制御内容を表すフローチャートの一例である。It is an example of the flowchart showing the control content which CPU of an imaging unit performs. 渋滞用固定速度領域を設定した場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。It is an example of the chart of the vehicle speed versus brightness showing the change setting of the image quality setting value when the fixed speed area for traffic jam is set. 連続変化速度領域を2つに分けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。It is an example of the chart of the vehicle speed versus brightness showing the change setting of the image quality setting value when the continuous change speed region is divided into two. 高速道路用の固定速度領域を設けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。It is an example of the chart of the vehicle speed versus brightness showing the change setting of the image quality setting value when the fixed speed area for highways is provided. 連続変化速度領域で曲線状に変化させる場合の明るさの変化設定を表す車両速度対明るさのチャートの一例である。It is an example of the chart of the vehicle speed versus brightness showing the change setting of the brightness in the case of changing in a curve in the continuous change speed region. サーバ型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。It is an example of the perspective view which shows the structural example of the vehicle carrying a server type navigation apparatus and a network. 電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。It is an example of the perspective view which shows the structural example of the vehicle carrying the image processing apparatus of the form using an electronic portable terminal. 各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。It is the figure which showed the example of the combination of the sharing of the hardware component between each component apparatus in each form. 各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。It is the figure which showed the example of the combination of sharing of the software processing content between each component apparatus in each form.

以下、本発明の実施形態を図面を参照しつつ説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。   FIG. 1 is a perspective view showing a configuration example of a vehicle equipped with a navigation device as an image processing device according to this embodiment. In FIG. 1, the navigation device S is provided with a single front camera 1 at a position in front of a room mirror 101 in a vehicle 100 that is a moving body. The front camera 1 is attached in a posture capable of capturing a front image of the vehicle 100.

図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。   FIG. 2 is a block diagram illustrating a hardware configuration example of the navigation device S. As illustrated in FIG. In FIG. 2, the navigation device S includes a front camera 1, an imaging unit 2, and a display 3.

フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。   The front camera 1 corresponds to an imaging unit, and has a function of taking a front image of the vehicle 100 described above using, for example, a CCD imaging device and outputting a corresponding signal to a CPU (described later) of the imaging unit 2. In the example of the present embodiment, the front camera 1 continuously captures the front image at short time intervals, thereby capturing the front image in the form of a moving image. Further, the front camera 1 of this example is configured such that exposure adjustment can be performed by mechanical means such as an aperture or electronic means such as a shutter speed of an image sensor.

ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。   The display 3 corresponds to display means, and is composed of an LCD panel, for example, and has a function of displaying a front image based on an image signal input from a graphic controller (described later) of the imaging unit 2.

イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。   The imaging unit 2 includes a CPU 11, a storage device 12, a GPS 13, a camera controller 14, a vehicle speed sensor 15, and a graphic controller 16.

CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。   The CPU 11 has a function of controlling the entire traffic light recognition device S by performing various calculations by the operation of a predetermined program, and exchanging information with other units and outputting various control instructions.

記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。   The storage device 12 includes a ROM 12a, a RAM 12b, and a storage medium 12c. The ROM 12a is an information storage medium in which various processing programs and other necessary information are written in advance. The RAM 12b is an information storage medium on which information necessary for executing the various programs is written and read. The storage medium 12c is a non-volatile information storage medium such as a flash memory or a hard disk.

GPS13は、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。   The GPS 13 has a function of measuring the current location of the vehicle 100 and acquiring current position information, and performing a predetermined route search and route guidance based on map information stored in advance.

カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。   The camera controller 14 has a function of performing image quality control corresponding to the image quality setting value designated by the CPU 11 with respect to the front camera 1. In the example of this embodiment, the image quality setting value to be controlled is the brightness of the image, and the camera controller 14 controls the exposure of the front camera 1 correspondingly.

車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。   The vehicle speed sensor 15 corresponds to detection means and has a function of detecting the traveling speed of the host vehicle. Based on the detection signal of the vehicle speed sensor 15, the CPU 11 can identify whether the vehicle 100 is in a stopped state or in a traveling state (how much traveling speed).

グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。   The graphic controller 16 has a function of acquiring image data from a video RAM (not shown) and the GPS 13 under the control of the CPU 11 and displaying an image signal based on the image data on the display 3.

以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。   Hereinafter, the image processing method by the navigation device S of the present embodiment will be described in detail.

図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。   FIG. 3 shows a display example on the display 3 of the front image captured by the front camera 1 shown in FIG. 1 while the vehicle is traveling. In this display example shown in FIG. 3, the navigation device S displays a front image on the display 3, and recognizes a front vehicle traveling ahead of the host vehicle 100 in the front image by an image recognition process. doing. The navigation device S also detects and displays the inter-vehicle distance from the host vehicle 100 by recognizing the preceding vehicle. Such recognition of the preceding vehicle and detection of the inter-vehicle distance are particularly useful while the host vehicle 100 is traveling at a predetermined speed or higher. And when performing such image recognition of the forward vehicle, it is necessary to make the brightness of the forward image itself relatively bright so that the visibility of the roadway is improved and the vehicle located far away can be easily recognized.

図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。   FIG. 4 shows a display example on the display 3 of the front image captured by the front camera 1 while the vehicle is stopped. In FIG. 4, in the illustrated display example, the navigation device S displays a front image on the display 3, and recognizes a traffic light in the front image by image recognition processing. The navigation device S also recognizes and displays the state that the traffic light is lit red. Such recognition of the traffic light and its lighting content is particularly useful while the host vehicle 100 is stopped. When performing image recognition of such a traffic light, it is necessary to make the brightness of the front image itself relatively dark in order to acquire color information of the traffic light that emits light (the front image portion in the figure). reference). This is because if the front image itself is bright, the lighted portion of the traffic light is saturated in the brightness distribution of the front image, and color information may not be acquired.

また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。   The navigation device S also has a function of a drive recorder that keeps recording a front image in an arbitrary period, in addition to the image recognition processing of the preceding vehicle and the traffic light. This drive recorder continuously records the moving image of the front image on the storage medium 12c from the input of the recording start operation to the input of the recording end operation, and then reproduces and edits the recorded front image.

図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。   FIG. 5 shows an example of a time chart when such image recognition and each process of the drive recorder are executed in parallel by the method of the conventional comparative example.

画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。   In the image recognition process, an application for recognizing a preceding vehicle (abbreviated as “app” in the figure) operates while the host vehicle 100 is moving even a little, and a traffic light is displayed while the host vehicle 100 is stopped. The application that recognizes is activated. That is, the object for image recognition is switched depending on whether the host vehicle 100 is traveling or stopped. Then, in response to such switching of the object for image recognition, the setting value of the brightness of the front image is also switched. In the method of the comparative conventional example, the setting value of the brightness of the front image corresponding to this image recognition is switched discretely corresponding to the distinction between running and stopped as shown in the figure. In this case, the brightness of the front image displayed on the display 3 changes abruptly when switching between running and stopping. In particular, when traveling and stopping are repeated frequently due to traffic jams, the front image blinks and the quality of the moving image display deteriorates.

一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。   On the other hand, in the process of the drive recorder executed in parallel with the image recognition process, recording is continuously performed regardless of whether the host vehicle 100 is traveling or stopped. For this reason, especially considering the moving image quality in the drive recorder, it is desired to suppress the occurrence of blinking in the front image as much as possible.

そこで本実施形態では、図6に例示するような画像の明るさの変化設定を適用することで、前方画像の明滅の発生を抑制する。図6では、車両速度Vを横軸とし、画像の明るさLを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさLを参照設定値Lsとしている。また、車両速度Vが参照速度Vs以上の状態では、明るさLを参照設定値Lcに固定している。ここで、参照設定値Lsは停止時設定値に相当し、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。   Therefore, in the present embodiment, the occurrence of blinking of the front image is suppressed by applying the change setting of the brightness of the image as illustrated in FIG. In FIG. 6, the change in the corresponding setting value is shown with the vehicle speed V as the horizontal axis and the brightness L of the image as the vertical axis. That is, the brightness setting of the image is changed corresponding to the vehicle speed. In FIG. 6, when the vehicle speed V is 0, that is, when the vehicle is stopped, the brightness L is set as the reference set value Ls. Further, when the vehicle speed V is equal to or higher than the reference speed Vs, the brightness L is fixed to the reference set value Lc. Here, the reference set value Ls corresponds to the set value at the time of stop, has a brightness suitable for traffic signal recognition (40 lux in the illustrated example), and is set to make the front image relatively dark as shown in FIG. Value. The reference set value Lc is a brightness suitable for recognition of the vehicle ahead (80 lux in the illustrated example), and is a set value that makes the front image relatively bright as shown in FIG. The reference speed Vs is a vehicle speed that requires recognition of the preceding vehicle and detection of the inter-vehicle distance (30 km / h in the illustrated example), and is a vehicle speed that cannot be obtained in a congested state.

そして、図6に示す明るさの変化設定で最も特徴としている点は、この例の画質設定値である明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させている。   The most characteristic feature of the brightness change setting shown in FIG. 6 is the stop speed range (V = 0) in which the brightness L, which is the image quality setting value in this example, is fixed to the reference setting value Ls, and the reference. A continuously changing speed region (0 <V <Vs) in which the brightness L is continuously changed corresponding to the vehicle speed V is provided between the traveling speed region (V ≧ Vs) fixed to the set value Lc. It is a point. In this continuous change speed region, the vehicle speed is between reference set values Ls and Lc fixedly set in each of two fixed speed regions (V = 0, V ≧ Vs) sandwiching the continuous change speed region. The brightness L is changed so as to be linearly proportional to V. That is, the brightness L = Ls is fixed in the stop speed range (V = 0), and the brightness L = ((Lc−Ls) / Vs) · V + Ls is proportionally changed in the continuous change speed range (0 <V <Vs). In the running speed range (V ≧ Vs), the brightness L is fixed to Lc.

このような画像の明るさの変化設定を適用することで、車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図7に示すように、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。   By applying such an image brightness change setting, it is possible to prevent a sudden change in image quality setting value even when the vehicle speed V is accelerated or decelerated. That is, in the example of the present embodiment, as shown in FIG. 7 corresponding to FIG. 5, the brightness in the front image can be gradually changed, and the occurrence of blinking in the front image can be suppressed.

図8は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。   FIG. 8 is an example of a flowchart showing control contents executed by the CPU 11 of the imaging unit 2 in order to realize the operation mode described above. This flow is called and executed at an appropriate time interval, for example, while the front camera 1 captures a front image in the form of a moving image.

図8において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。   In FIG. 8, first, in step S5, the value of the switch variable SW indicating the presence or absence of the recording operation of the drive recorder is reset to zero.

ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。   In step S10, the vehicle speed V of the host vehicle 100 is detected by the vehicle speed sensor 15. In addition, the procedure of this step S10 corresponds to the detection step described in each claim.

ステップS15へ移り、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS20へ移る。   Moving to step S15, it is determined whether or not the vehicle speed V detected in step S10 is equal to or higher than the reference speed Vs. If the vehicle speed V is less than the reference speed Vs, the determination is not satisfied and the routine goes to Step S20.

ステップS20では、明るさL=((Lc−Ls)/Vs)・V+Lsを算出し設定してからステップS30へ移る。   In step S20, brightness L = ((Lc−Ls) / Vs) · V + Ls is calculated and set, and then the process proceeds to step S30.

一方、上記ステップS15の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS25へ移る。   On the other hand, if the vehicle speed V is equal to or higher than the reference speed Vs in the determination in step S15, the determination is satisfied, and the process proceeds to step S25.

ステップS25では、明るさL=Lcに固定的に設定してからステップS30へ移る。   In step S25, the brightness L is fixedly set to Lc, and then the process proceeds to step S30.

ステップS30では、明るさLに対応する露光となるようカメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。   In step S30, the front controller 1 is controlled by the camera controller 14 so that the exposure corresponding to the brightness L is achieved. The procedure of step S30 corresponds to the control means and the control process described in each claim.

ステップS33へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。   In step S33, the front camera 1 captures a front image. The procedure of step S33 corresponds to the imaging process described in each claim.

ステップS35へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS40へ移る。   The process proceeds to step S35, and it is determined whether the vehicle speed V detected in step S10 is 0, that is, whether the host vehicle 100 is currently stopped. If the vehicle speed V is 0, the determination is satisfied, and the routine goes to Step S40.

ステップS40では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS53へ移る。   In step S40, the traffic light recognition application is activated to recognize the traffic light in the front image and its lighting contents. Next, the process proceeds to step S53.

一方、上記ステップS35の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS45へ移る。   On the other hand, if it is determined in step S35 that the vehicle speed V is not 0, the determination is not satisfied and the routine goes to step S45.

ステップS45では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS50へ移る。   In step S45, it is determined whether or not the vehicle speed V is equal to or higher than the reference speed Vs. If the vehicle speed V is equal to or higher than the reference speed Vs, the determination is satisfied, and the routine goes to Step S50.

ステップS50では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS53へ移る。   In step S50, the forward vehicle recognition application is activated to recognize the forward vehicle in the forward image and detect the inter-vehicle distance. Next, the process proceeds to step S53.

また一方、上記ステップS45の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS53へ移る。なお、上記のステップS35〜S50の手順が、各請求項記載の認識手段に相当する。   On the other hand, if the vehicle speed V is less than the reference speed Vs in the determination in step S45, the determination is not satisfied and the process proceeds to step S53. In addition, the procedure of said step S35-S50 is corresponded to the recognition means as described in each claim.

ステップS53では、上記ステップS33で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS40の信号機認識処理又はステップS50の前方車両認識処理で認識した内容も併せて表示する。なお、このステップS53の手順が、各請求項記載の表示工程に相当する。   In step S53, the front image captured in step S33 is displayed on the display 3. In this display, the vehicle speed detected in step S10 and the content recognized in the traffic light recognition process in step S40 or the forward vehicle recognition process in step S50 are also displayed. Note that the procedure of step S53 corresponds to a display step described in each claim.

ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。   The process moves to step S55, and it is determined whether or not there is an operation input related to the recording of the drive recorder at that time. If there is no recording operation input, the determination is not satisfied, and the routine goes to Step S75.

一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。   On the other hand, if there is a recording operation input in the determination in step S55, the determination is satisfied, and the routine goes to step S60.

ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。   In step S60, it is determined whether the recording operation that has been input in the determination in step S55 is a recording start operation (ON operation) or a recording end operation (OFF operation). If a recording start operation has been input, the process proceeds to step S65.

ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。   In step S65, the value of the switch variable SW is set to 1, and the process proceeds to step S75.

一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。   On the other hand, if the recording end operation has been input in the determination in step S60, the process proceeds to step S70.

ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。   In step S70, the value of the switch variable SW is set to 0, and the process proceeds to step S75.

ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。   In step S75, it is determined whether or not the value of the switch variable SW is zero. If the value of the switch variable SW is 0, the determination is satisfied, and the process returns to step S10 and the same procedure is repeated.

一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。   On the other hand, if the value of the switch variable SW is 1 in the determination in step S75, the determination is not satisfied and the process proceeds to step S80.

ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。   In step S80, the front image recorded by the front camera 1 from the previous time to that time is recorded in the storage medium 12c or the like by the application function of the drive recorder. And it returns to step S10 and repeats the same procedure. Note that the above steps S55 to S80 correspond to the recording means described in the claims.

以上のフローチャートにおいて、ステップS15〜ステップS25の手順(算出手段、算出工程に相当)を実行することで、本実施形態での画像設定値の一例である画像の明るさLの設定が行われ、ステップS30の手順で明るさLに対応したフロントカメラ1の露光制御が行われる。上記フローチャートの見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさLの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさL=((Lc−Ls)/Vs)・V+Lsの算出において、車両速度V=0の停車状態では明るさL=Lsに固定設定していることになる。このため実質的には、V=0(停車状態)の固定速度領域においてL=Lsに固定設定し、0<V<Vsの連続変化速度領域においてL=((Lc−Ls)/Vs)・V+Lsで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。   In the above flowchart, by executing the procedure from step S15 to step S25 (equivalent to the calculation means and the calculation process), the setting of the image brightness L, which is an example of the image setting value in the present embodiment, is performed. Exposure control of the front camera 1 corresponding to the brightness L is performed in the procedure of step S30. As an example of the apparent procedure of the flowchart, the brightness L corresponding to the vehicle speed V is set for each case in two cases: when the vehicle speed V is lower than the reference speed Vs and when it is equal to or higher than the reference speed Vs. ing. However, in the calculation of the brightness L = ((Lc−Ls) / Vs) · V + Ls performed when the vehicle speed V is less than the reference speed Vs, the brightness L = Ls is fixed when the vehicle speed V = 0 is stopped. It is set. For this reason, in practice, L = Ls is fixedly set in the fixed velocity region where V = 0 (stopped state), and L = ((Lc−Ls) / Vs) · in the continuously changing velocity region where 0 <V <Vs. It can be regarded that the three speed regions are classified as follows: V + Ls is set in linear proportion, and L = Lc is fixedly set in a fixed velocity region where V ≧ Vs.

以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車速センサ15が検出した車両速度Vに応じて前記フロントカメラ1が画像を撮像する際の明るさL(画質設定値に相当)を算出するステップS15〜S25の手順(算出手段に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS30の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS35〜S50の手順(認識手段に相当)と、を有し、前記ステップS15〜S25の手順は、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前記前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。   As described above, in the navigation device S of the above embodiment, the front camera 1 (corresponding to the imaging unit) that is mounted on the vehicle 100 (corresponding to a moving body) and captures an image around the vehicle 100, and A vehicle speed sensor 15 (corresponding to a detecting means) that detects a vehicle speed V (corresponding to a moving speed) that is a moving speed of the vehicle 100, and the front camera 1 displays an image according to the vehicle speed V detected by the vehicle speed sensor 15. Corresponding to the brightness L calculated in the procedure of steps S15 to S25 and the procedure of steps S15 to S25 (corresponding to the calculation means) for calculating the brightness L (corresponding to the image quality setting value). Step S30 for controlling the image quality of the image captured by the front camera 1 (corresponding to the control means), and a display for displaying the image captured by the front camera 1 The front camera 1 shows a traffic light and a preceding vehicle (corresponding to a recognition target) set in correspondence with a plurality of fixed speed areas in which the brightness L is fixedly set. And steps S35 to S50 (corresponding to recognition means) for recognizing from the image captured in step S15 to S25, and the steps S15 to S25 include the brightness L in each of the plurality of fixed speed regions. And a continuously changing speed region in which the brightness L is continuously changed corresponding to the vehicle speed V between the plurality of fixed speed regions.

また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS33の手順(撮像工程に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出するステップS10の手順(検出工程に相当)と、前記ステップS10の手順で検出した前記車両速度Vに応じて前記ステップS33の手順で画像を撮像する際の明るさLを算出するステップS15〜S25の手順(算出工程に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記ステップS33の手順で撮像する画像の画質を制御するステップS30の手順(制御工程に相当)と、前記ステップS33の手順で撮像した画像を表示するステップS53の手順(表示工程に相当)と、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記ステップS33の手順で撮像した画像中から認識するステップS35〜S50の手順(認識工程に相当)と、を実行し、前記ステップS15〜S25の手順では、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。   Further, in the image processing method executed by the navigation device S of the above embodiment, the procedure of step S33 (corresponding to the imaging step) for capturing an image around the vehicle 100 (corresponding to a moving body), and the movement of the vehicle 100 In accordance with the procedure of step S10 (corresponding to the detection step) for detecting the vehicle speed V (corresponding to the moving speed), which is the speed to be performed, and the procedure of step S33 according to the vehicle speed V detected in the procedure of step S10 The procedure of steps S15 to S25 (corresponding to the calculation step) for calculating the brightness L when imaging the image is taken and the procedure of step S33 corresponding to the brightness L calculated by the procedure of steps S15 to S25. Step S30 for controlling the image quality of the image to be performed (corresponding to the control step) and step S5 for displaying the image captured in the step S33. And the traffic light and the preceding vehicle (corresponding to the recognition target) set in correspondence with a plurality of fixed speed areas in which the brightness L is fixedly set. Steps S35 to S50 (recognizing step) for recognizing from the image captured in Step S15 to Step S25 are performed, and in the steps S15 to S25, the brightness L in each of the plurality of fixed speed regions is set as the traffic light. And a continuously changing speed region in which the brightness L is continuously changed corresponding to the vehicle speed V between the plurality of fixed speed regions.

このようにすると、固定速度領域どうしの間に設けられた連続変化速度領域においては、それに隣接する2つの固定速度領域にそれぞれ固定設定された異なる明るさLの設定値Ls,Lcの間で連続的に明るさLを変化させることができる。これにより、2つの固定速度領域に渡って車両速度Vを加速・減速した場合でも、明るさLの急激な切り替えを防ぐことができる。すなわち、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、走行速度の増減によって明るさLを切り替える場合でも、表示させる撮像画像としての品質を向上できる。さらに、明るさLの設定値を各認識対象別に適切に設定することができ、複数の認識対象を固定速度領域別に切り替えて認識可能な画像認識処理を高い精度で実行可能となる。   In this way, in the continuously changing speed region provided between the fixed speed regions, the continuous change between the set values Ls and Lc of different brightness L respectively fixed to the two fixed speed regions adjacent thereto. Thus, the brightness L can be changed. Thereby, even when the vehicle speed V is accelerated / decelerated over two fixed speed regions, it is possible to prevent the brightness L from being rapidly switched. That is, the lightness and darkness in the front image can be changed gradually, and the occurrence of blinking in the front image can be suppressed. As a result, the quality as a captured image to be displayed can be improved even when the brightness L is switched by increasing or decreasing the traveling speed. Furthermore, the setting value of the brightness L can be appropriately set for each recognition target, and an image recognition process capable of being recognized by switching a plurality of recognition targets for each fixed speed region can be executed with high accuracy.

なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。   In the example of this embodiment, the image quality setting value to be adjusted is the brightness of the image, but the present invention is not limited to this. In addition, other image quality setting values such as contrast and sharpness may be set as adjustment targets. In this case, the camera controller 14 may adjust and control the image quality setting values for the front camera 1. Alternatively, a method of adjusting and controlling the image quality of the captured image by software may be used without performing hardware adjustment control on the front camera 1.

上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。   In addition to the above-described configuration, steps S55 to S80 for recording an image captured by the front camera 1 are included.

このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。   If it does in this way, it will become possible to function as a drive recorder, and when recording the animation of the front picture in arbitrary run sections, generation | occurrence | production of blinking can be suppressed and the quality as a captured image can be improved.

なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさLなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。   In addition, when the drive recorder is activated, the image quality setting values such as the brightness L at the time of image capturing are recorded together with the recording of the front image, so that it can be used for image correction at the time of subsequent image reproduction. Can do. In this way, it is possible to perform correction more appropriate than correction performed only from the recorded front image.

上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS35〜S50の手順は、車両速度Vが停止状態付近である固定速度領域では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS15〜S25の手順は、算出する対象の前記画質設定値を画像の明るさLとし、車両速度Vが停止状態付近である固定速度領域では明るさLを参照設定値Ls(停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさLを参照設定値Lsより明るく設定する。   In addition to the above-described configuration, the front camera 1 captures a front image of the vehicle 100, and the procedure of steps S35 to S50 recognizes a traffic signal in a fixed speed region where the vehicle speed V is near a stop state. In the fixed speed region where the vehicle speed V is equal to or higher than the reference speed Vs, the preceding vehicle is set as a recognition target. In the steps S15 to S25, the image quality setting value to be calculated is set as the image brightness L, and the vehicle speed is set. The brightness L is set to the reference set value Ls (corresponding to the set value at the time of stop) in the fixed speed region where V is near the stop state, and the brightness L is referred to in the fixed speed region where the vehicle speed V is equal to or higher than the reference speed Vs. Set brighter than the set value Ls.

このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い参照設定値Lsに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記参照設定値Lsより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。   In this way, the traffic light is recognized only when the vehicle is stopped due to waiting for a red signal or the like, and in that case, the brightness of the front image itself is set to a relatively dark reference setting value Ls, so that surrounding signs, etc. This makes it easier to recognize only the traffic light that emits light by itself, distinguishing it from the red display portion of the. In addition, the front vehicle is recognized only during a traveling state at a reference speed Vs or higher, which requires detection of the inter-vehicle distance with high accuracy, and the brightness of the front image itself is set to the reference set value Ls. By making it brighter, it is possible to improve the visibility of the roadway and to recognize a vehicle located far away.

上述した構成に加えてさらに、前記ステップS15〜S25の手順は、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさLを参照設定値Lsより明るい参照設定値Lcに設定する。   In addition to the above-described configuration, the procedure of steps S15 to S25 is such that the brightness L is set to the reference set value Ls in the fixed speed region (V = 0) where the vehicle speed V is stopped, and the vehicle speed V is In a fixed speed region (V ≧ Vs) where the inter-vehicle distance with the preceding vehicle is to be detected or higher, the brightness L is set to a reference set value Lc that is brighter than the reference set value Ls.

このようにすると、赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさLsで画像の明るさLを設定でき、また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさLcで画像の明るさLを設定できる。   In this way, the brightness L of the image can be set with the brightness Ls appropriate for traffic signal recognition only when the vehicle is stopped due to waiting for a red signal or the like, and it is necessary to detect the inter-vehicle distance with the preceding vehicle with high accuracy. The brightness L of the image can be set with the brightness Lc appropriate for the forward vehicle recognition only during a traveling state at a certain reference speed Vs or higher.

上述した構成に加えてさらに、前記ステップS15〜S25の手順は、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさL=((Lc−Ls)/Vs)・V+Lsを変化させる。   In addition to the above-described configuration, the procedure of steps S15 to S25 includes two fixed speed regions (V = 0, V) sandwiching the continuous change speed region in the continuous change speed region (0 <V <Vs). The brightness L = ((Lc−Ls) / Vs) · V + Ls is changed so as to be linearly proportional to the vehicle speed V between the reference set values Ls and Lc fixedly set to ≧ Vs).

このようにすると、連続変化速度領域における明るさLの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさLを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさLの変化は動画品質を向上させるよう機能する。   In this way, the change of the brightness L in the continuous change speed region can be changed so as to connect the change between the two fixed reference set values Ls and Lc most naturally and gently. When the brightness L is discretely changed between the two reference set values Ls and Lc, the above-mentioned gentle change in the brightness L as compared with the fact that the brightness of the image changes rapidly. Works to improve video quality.

なお、上記図6に例示した明るさLの変化設定以外にも、多様なパターンの変化設定を適用してもよい。例えば、上記図6に対応する図9に示すように、信号機認識に適した明るさLsに対応する固定速度領域を、停車状態のV=0から渋滞中に出し得る参照速度Vs1(図示する例では15km/h)までの間に設定する。また、前方車両認識に適した明るさLcに対応する固定速度領域を、前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)以上に設定する。すなわち、明るさLの算出手順においては、車両速度Vが渋滞中に出し得る参照速度Vs1以下である固定速度領域では明るさLの設定値を参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域では明るさLの設定値を参照設定値Lsより明るい参照設定値Lcに設定する。   In addition to the brightness L change setting exemplified in FIG. 6, various pattern change settings may be applied. For example, as shown in FIG. 9 corresponding to FIG. 6 described above, the reference speed Vs1 (example shown in the figure) that can output a fixed speed region corresponding to the brightness Ls suitable for traffic signal recognition from V = 0 in a stopped state during a traffic jam. In the case of 15 km / h). Further, the fixed speed region corresponding to the brightness Lc suitable for the forward vehicle recognition is set to a reference speed Vs2 (30 km / h in the illustrated example) or higher at which the inter-vehicle distance with the forward vehicle is to be detected. That is, in the procedure for calculating the brightness L, the set value of brightness L is set to the reference set value Ls in a fixed speed region where the vehicle speed V is less than or equal to the reference speed Vs1 that can be output during a traffic jam. In a fixed speed region where the inter-vehicle distance with the preceding vehicle is to be detected is equal to or higher than the reference speed Vs2, the setting value of the brightness L is set to a reference setting value Lc brighter than the reference setting value Ls.

またこの場合、連続変化速度領域をそれら固定速度領域の間(Vs1<V<Vs2)に設定し、この連続変化速度領域においては明るさLをL=((Lc−Ls)/(Vs2−Vs1))・(V−Vs1)+Lsで線形比例させて算出する。   In this case, the continuous change speed region is set between these fixed speed regions (Vs1 <V <Vs2), and in this continuous change speed region, the brightness L is set to L = ((Lc−Ls) / (Vs2−Vs1). )) · (V−Vs1) + Ls.

このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗を全く変化させずに済むことができる。   In this way, even if the vehicle 100 in a traffic jam repeats stopping and running at a speed that can be obtained at the time of the traffic jam, it is not necessary to change the brightness of the front image during that time.

または、図10に例示するように、連続変化速度領域を停車状態のV=0より大きく前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)未満(0<V<Vs2)に設定し、当該連続変化速度領域の内訳として渋滞中に出し得る参照速度Vs1(図示する例では20km/h)の前後で2つに分けてもよい。そして、参照速度Vs1未満の連続変化速度領域(0<V<Vs1)では、車両速度Vに対する明るさLの変化率を所定の渋滞時変化率(図示する例の(Lm−Ls)/Vs1=15/20lux/km/h)に設定し、参照速度Vs1以上の連続変化速度領域(Vs1≦V<Vs2)では、車両速度Vに対する明るさLの変化率を上記渋滞変化率より大きく設定(図示する例の(Lc−Lm)/(Vs2−Vs1)=25/10lux/km/h)する。   Alternatively, as illustrated in FIG. 10, the continuously changing speed region is larger than V = 0 in the stopped state and less than the reference speed Vs2 (30 km / h in the illustrated example) where the inter-vehicle distance from the preceding vehicle should be detected (0 <V <Vs2) may be divided into two parts before and after a reference speed Vs1 (20 km / h in the illustrated example) that can be output during a traffic jam as a breakdown of the continuous change speed region. Then, in the continuous change speed region (0 <V <Vs1) less than the reference speed Vs1, the change rate of the brightness L with respect to the vehicle speed V is set to a predetermined change rate during traffic congestion ((Lm−Ls) / Vs1 in the illustrated example). 15/20 lux / km / h), and in the continuously changing speed region (Vs1 ≦ V <Vs2) equal to or higher than the reference speed Vs1, the change rate of the brightness L with respect to the vehicle speed V is set to be larger than the above-described congestion change rate (illustrated). (Lc−Lm) / (Vs2−Vs1) = 25/10 lux / km / h).

すなわち、明るさLの算出手順においては、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域(V≧Vs2)では明るさLを上記参照設定値Lsより明るい参照設定値Lcに設定し、車両速度Vが停止状態より大きく渋滞中に出し得る参照速度Vs1以下である連続変化速度領域(0<V<Vs1)では明るさLの変化率を所定の渋滞時変化率に設定し、車両速度Vが渋滞中に出し得る参照速度Vs1より大きく前記前方車両との車間距離を検出すべき参照速度Vs2未満である連続変化速度領域(Vs1≦V<Vs2)では明るさLの変化率を上記渋滞時変化率より大きく設定する。   That is, in the procedure for calculating the brightness L, the brightness L is set to the reference set value Ls in the fixed speed region (V = 0) where the vehicle speed V is in a stopped state, and the vehicle speed V is the distance between the preceding vehicle and the preceding vehicle. In a fixed speed region (V ≧ Vs2) where the distance is to be detected or higher than the reference speed Vs2, the brightness L is set to a reference setting value Lc that is brighter than the reference setting value Ls, and the vehicle speed V is larger than the stop state and is in a traffic jam. In a continuously changing speed region (0 <V <Vs1) that is less than or equal to the reference speed Vs1 that can be output, the change rate of the brightness L is set to a predetermined change rate at the time of traffic jam, and the vehicle speed V is greater than the reference speed Vs1 that can be output during traffic jam. In the continuous change speed region (Vs1 ≦ V <Vs2) where the inter-vehicle distance from the preceding vehicle is to be detected is less than the reference speed Vs2, the change rate of the brightness L is set to be larger than the change rate at the time of congestion.

この場合、明るさLmをLcとLsの平均よりも暗い明るさとして、連続変化速度領域(0<V<Vs1)においては明るさLをL=((Lm−Ls)/Vs1)・V+Lsで線形比例させて算出し、連続変化速度領域(Vs1≦V<Vs2)においては明るさLをL=((Lc−Lm)/(Vs2−Vs1))・(V−Vs1)+Lmで線形比例させて算出する。   In this case, the brightness Lm is set to be darker than the average of Lc and Ls, and the brightness L is L = ((Lm−Ls) / Vs1) · V + Ls in the continuous change speed region (0 <V <Vs1). Calculated linearly, and in the continuous change speed region (Vs1 ≦ V <Vs2), the brightness L is linearly proportional to L = ((Lc−Lm) / (Vs2−Vs1)) · (V−Vs1) + Lm. To calculate.

このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗の変化を比較的少なく抑えることができ、また渋滞から抜け出して通常の走行状態に戻る際にも前方画像の明暗の変化を比較的緩やかに抑えることができる。   In this way, even if the vehicle 100 in a traffic jam repeatedly stops and travels at a speed lower than the speed that can be produced at the time of the traffic jam, the change in the brightness of the front image can be suppressed relatively little during that time. Even when the vehicle returns to the traveling state, the change in brightness of the front image can be suppressed relatively gently.

または、図11に例示するように、前方車両との車間距離を検出すべき固定速度領域を、一般道用と高速道路用の2つに分けてもよい。すなわち、明るさLの算出手順においては、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs1より大きく一般道で出し得る参照速度Vs2(図示する例では70km/h)以下である固定速度領域(Vs1<V≦Vs2)では明るさLを参照設定値Lsより明るい参照設定値Lc1(図示する例では80lux)に設定し、車両速度Vが高速道路で出し得る参照速度Vs3(図示する例では90km/h)以上である固定速度領域(Vs2≦V)では明るさLをさらに明るい参照設定値Lc2(図示する例では90lux)に設定する。   Alternatively, as illustrated in FIG. 11, the fixed speed region in which the inter-vehicle distance with the preceding vehicle should be detected may be divided into two for ordinary roads and for highways. That is, in the procedure for calculating the brightness L, the vehicle speed V is greater than the reference speed Vs1 for detecting the inter-vehicle distance from the preceding vehicle, and is below the reference speed Vs2 (70 km / h in the illustrated example) that can be output on a general road. In a certain fixed speed region (Vs1 <V ≦ Vs2), the brightness L is set to a reference setting value Lc1 (80 lux in the illustrated example) brighter than the reference setting value Ls, and the reference speed Vs3 (the vehicle speed V can be output on the highway) ( In the illustrated example, the brightness L is set to a brighter reference set value Lc2 (90 lux in the illustrated example) in a fixed speed region (Vs2 ≦ V) that is 90 km / h) or higher.

またこの場合、それら一般道と高速道路にそれぞれ対応する固定速度領域の間の連続変化速度領域(Vs2<V<Vs3)においては、明るさLをL=((Lc2−Lc1)/(Vs3−Vs2))・(V−Vs2)+Lc1で線形比例させて算出する。   In this case, the brightness L is set to L = ((Lc2−Lc1) / (Vs3−) in the continuously changing speed region (Vs2 <V <Vs3) between the fixed speed regions respectively corresponding to the general road and the highway. Vs2)) · (V−Vs2) + Lc1 is calculated in linear proportion.

このようにすると、一般道の場合よりもさらに遠方の前方車両の認識まで必要とする高速道路において、より明るいLで画像を撮像でき、前方車両認識の精度が向上する。   In this way, an image can be taken with a brighter L on an expressway that requires recognition of a farther forward vehicle than in the case of a general road, and the accuracy of forward vehicle recognition is improved.

また、連続変化速度領域における明るさLの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の増減に限定されない。例えば図12に例示するように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。   Further, the change in the brightness L in the continuous change speed region is not limited to the above-described linear proportional increase / decrease as long as it changes so as to continuously connect the two fixed setting values. For example, as illustrated in FIG. 12, an appropriate curve may be drawn so as to be connected gently.

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。   The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit and technical idea of the present invention.

(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図13に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
(1) When a front image is stored in an external database In the above embodiment, a storage medium 12c that performs image recognition processing by itself or uses the front image captured by the navigation device S and that includes the front image therein. However, the present invention is not limited to this. For example, as shown in FIG. 13, the navigation device SA includes a wireless communication device 21 (corresponding to communication means) and an antenna 22, and is provided in an external data center 24 via a communication network via wireless communication with the relay station 23. A so-called server type may be employed in which a front image is transmitted to the database server 25 and the database server 25 performs image recognition and recording of the front image.

これにより、ナビゲーション装置SAの記憶媒体12cで過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。   Thereby, even when the past forward image is accidentally deleted in the storage medium 12c of the navigation device SA, the forward image recorded in the database server 25 of the data center 24 can be used as a backup.

(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラとディスプレイを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図14参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさL(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
(2) When configured using an electronic portable terminal In the above embodiment and the first modified example, the device configuration mounted on the vehicle 100 is only the navigation devices S and SA. Not limited. In recent years, there are many models in which an electronic portable terminal 31 such as a commercially available smartphone or an electronic book terminal is equipped with a camera and a display. For example, this is detachably attached to a cradle 32 connected to the vehicle speed sensor 15 and attached to the vehicle 100. It may be mounted (see FIG. 14). Then, it is possible to cause the electronic portable terminal 31 to capture a front image and cause the CPU included in the same electronic portable terminal 31 to perform a predetermined image recognition process, thereby functioning as an image processing apparatus. Even in the image processing apparatus having such a configuration, the image quality of the front image can be adjusted by applying the change setting of the brightness L (image quality setting value) exemplified in the above embodiment.

この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさLを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。   In this case, the electronic portable terminal 31 corresponds to the portable terminal device described in each claim, the camera equipped in the electronic portable terminal 31 corresponds to the imaging means, and among the control procedures processed by the CPU of the electronic portable terminal 31 The procedure for calculating the brightness L corresponds to the calculation means, the procedure for adjusting the exposure with respect to the camera corresponds to the control means, and the display provided in the electronic portable terminal 31 corresponds to the display means.

また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。   Although not particularly illustrated, the above-described server type can be used even in a configuration using the electronic portable terminal 31. In this case, the electronic portable terminal 31 includes a communication unit, and the database server 25 of the data center 24 corresponds to a server that records a front image.

なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図15と図16に示す。   The above-described embodiment, first modified example, and second modified example all have the same basic hardware components and software processing contents, and their sharing among the constituent devices is different. Only. The main examples of these assignments are shown in FIGS.

まず図15は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。   First, FIG. 15 shows an example of a combination of sharing of hardware components among the components. The storage unit in the hardware components of FIG. 15 corresponds to the storage medium 12c for recording the front image and the database server 25, and the communication unit corresponds to the wireless communication device 21. In-vehicle devices (navigation devices, cradle) in the component equipment must be equipped with the vehicle speed sensor 15, and the data center must be equipped with a storage unit. In addition, in the case of the server type, it is essential to equip either the mobile terminal or the in-vehicle device and a communication unit in the data center.

図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。   In addition to the sharing example shown in the drawing, the camera and the display may be equipped either with a portable terminal or an in-vehicle device, and the storage unit may be equipped with any of the portable terminal, the in-vehicle device, or the data center. Each hardware component only needs to be provided in any one of the components that can be equipped, but for example, a configuration may be adopted in which both the mobile terminal and the in-vehicle device are provided with a display. In the mobile terminal usage mode, when the in-vehicle device is used with any of the camera, display, storage unit, and communication unit, the mobile terminal and the cradle can send and receive information signals via a connector or the like. Must be able to be installed.

次に図16は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図16に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。   Next, FIG. 16 shows an example of a combination of sharing of software processing contents among the constituent devices. The software processing contents shown in FIG. 16 include a calculation process for calculating an image quality setting value, an adjustment control process for adjusting the image quality of the image based on the image quality setting value, an image recognition process for recognizing a traffic light and a preceding vehicle from the image, and There are four recording processes of a drive recorder that records images. As for the sharing of the software processing contents, basically, if any CPU having sufficient processing capability is installed in each component device and information can be transmitted and received between each component device, all the processing contents are basically assigned to any component device. Just do it. The sharing example shown in the figure is a main example to the last, and various other combinations are possible.

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。   In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.

1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
1 Front camera (equivalent to imaging means)
2 Imaging unit 3 Display (equivalent to display means)
11 CPU
12c Storage medium 14 Camera controller 15 Vehicle speed sensor (corresponding to detection means)
16 Graphic controller 21 Wireless communication device (equivalent to communication means)
24 data center 25 database (equivalent to external server, server)
31 Electronic portable terminal (equivalent to a portable terminal device)
100 Vehicle S, SA, SB Navigation device

Claims (6)

移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設け
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する
ことを特徴とする画像処理装置。
An imaging means that is mounted on a mobile body and captures an image around the mobile body;
Detecting means for detecting a moving speed which is a moving speed of the moving body;
A calculation unit that calculates an image quality setting value when the imaging unit captures an image according to the moving speed detected by the detection unit;
Control means for controlling the image quality of the image picked up by the image pickup means corresponding to the image quality setting value calculated by the calculation means;
Display means for displaying an image captured by the imaging means;
Recognizing means for recognizing a recognition target set corresponding to each of a plurality of fixed speed areas in which image quality setting values are fixedly set from images picked up by the image pickup means,
The calculating means sets an image quality setting value in each of the plurality of fixed speed areas corresponding to the recognition target, and sets an image quality setting value corresponding to the moving speed between the plurality of fixed speed areas. Provide a continuous change speed region to change continuously ,
The imaging means captures a front image of the moving body,
The recognizing means recognizes a traffic light in a fixed speed region where the moving speed is near a stop state, and recognizes a preceding vehicle in a fixed speed region where the moving speed is equal to or higher than a predetermined speed.
The calculation means sets the image quality setting value to be calculated as the brightness of the image, sets the image quality setting value to a predetermined stop-time setting value in a fixed speed region where the moving speed is near a stop state, and the moving speed The image processing apparatus, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where is equal to or greater than the predetermined speed .
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1記載の画像処理装置。
The calculating means includes
In the fixed speed region where the moving speed is in a stop state, the image quality setting value is set to the predetermined stop time setting value,
2. The image according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where the moving speed is equal to or higher than a speed at which an inter-vehicle distance with the preceding vehicle is to be detected. Processing equipment.
前記算出手段は、
前記移動速度が渋滞中に出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1記載の画像処理装置。
The calculating means includes
In the fixed speed region where the moving speed is less than or equal to the speed that can be put out in a traffic jam, the image quality setting value is set to the predetermined stop setting value,
2. The image according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where the moving speed is equal to or higher than a speed at which an inter-vehicle distance with the preceding vehicle is to be detected. Processing equipment.
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が停止状態より大きく渋滞中に出し得る速度以下である連続変化速度領域では前記画質設定値の変化率を所定の渋滞時変化率に設定し、
前記移動速度が渋滞中に出し得る速度より大きく前記前方車両との車間距離を検出すべき速度未満である連続変化速度領域では前記画質設定値の変化率を前記所定の渋滞時変化率より大きく設定することを特徴とする請求項1記載の画像処理装置。
The calculating means includes
In the fixed speed region where the moving speed is in a stop state, the image quality setting value is set to the predetermined stop time setting value,
In the fixed speed region where the moving speed is equal to or higher than the speed at which the inter-vehicle distance with the preceding vehicle is to be detected, the image quality setting value is set brighter than the predetermined stop setting value,
In the continuous change speed region where the moving speed is larger than the stop state and equal to or less than the speed that can be put out during traffic jam, the change rate of the image quality setting value is set to a predetermined traffic jam change rate,
The rate of change of the image quality setting value is set to be greater than the predetermined rate of change in traffic jams in a continuously changing speed region where the moving speed is greater than the speed that can be output during traffic jams and less than the speed at which the inter-vehicle distance to the preceding vehicle should be detected. The image processing apparatus according to claim 1, wherein:
前記算出手段は、
前記移動速度が前記前方車両との車間距離を検出すべき速度より大きく一般道で出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が高速道路で出し得る速度以上である固定速度領域では前記画質設定値をさらに明るく設定することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
The calculating means includes
In a fixed speed region where the moving speed is greater than the speed at which the inter-vehicle distance to the preceding vehicle should be detected and less than or equal to the speed that can be taken on a general road, the image quality setting value is set brighter than the predetermined stop setting value,
5. The image processing apparatus according to claim 2, wherein the image quality setting value is set to be brighter in a fixed speed region where the moving speed is equal to or higher than a speed that can be output on an expressway.
移動体の周囲の画像を撮像する撮像工程と、
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、
前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける画像処理方法であって、
前記撮像工程では、前記移動体の前方画像を撮像し、
前記認識工程では、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出工程では、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する
ことを特徴とする画像処理方法。
An imaging step of capturing an image around the moving body;
A detecting step of detecting a moving speed that is a moving speed of the moving body;
A calculation step of calculating an image quality setting value when an image is picked up in the image pickup step in accordance with the moving speed detected in the detection step;
A control step for controlling the image quality of the image captured in the imaging step in correspondence with the image quality setting value calculated in the calculation step;
A display process for displaying the image captured in the imaging process;
A recognition step of recognizing a recognition target set corresponding to each of a plurality of fixed speed regions in which image quality setting values are fixedly set from the images captured in the imaging step,
In the calculating step, an image quality setting value in each of the plurality of fixed speed areas is set corresponding to the recognition target, and an image quality setting value is set in correspondence with the moving speed between the plurality of fixed speed areas. an image processing method for Ru provided a continuous change speed region continuously changing,
In the imaging step, a front image of the moving body is captured,
In the recognition step, a traffic light is a recognition target in a fixed speed region where the moving speed is near a stop state, and a preceding vehicle is a recognition target in a fixed speed region where the moving speed is equal to or higher than a predetermined speed.
In the calculation step, the image quality setting value to be calculated is set as the brightness of the image, and the image quality setting value is set to a predetermined stop-time setting value in a fixed speed region where the moving speed is near a stop state, and the moving speed is set. The image processing method according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where is equal to or greater than the predetermined speed .
JP2011255162A 2011-11-22 2011-11-22 Image processing apparatus and image processing method Active JP5778006B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011255162A JP5778006B2 (en) 2011-11-22 2011-11-22 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011255162A JP5778006B2 (en) 2011-11-22 2011-11-22 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2013109638A JP2013109638A (en) 2013-06-06
JP5778006B2 true JP5778006B2 (en) 2015-09-16

Family

ID=48706315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011255162A Active JP5778006B2 (en) 2011-11-22 2011-11-22 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5778006B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6367531B2 (en) * 2013-07-12 2018-08-01 矢崎エナジーシステム株式会社 OBE
KR102545453B1 (en) * 2021-05-13 2023-06-20 주식회사 엘지유플러스 Vehicle image processing device, road image analysis, and interconnection therebetween

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132253A (en) * 1997-07-08 1999-02-02 Hitachi Ltd Image-processing unit
JP2006222844A (en) * 2005-02-14 2006-08-24 Fujitsu Ten Ltd On-vehicle image information output device, and method of controlling same
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
JP2008174078A (en) * 2007-01-18 2008-07-31 Xanavi Informatics Corp Device and method for controlling in-vehicle camera
JP2008244674A (en) * 2007-03-26 2008-10-09 Kyocera Corp Radio terminal, in-vehicle radio terminal holder, server and drive recorder system

Also Published As

Publication number Publication date
JP2013109638A (en) 2013-06-06

Similar Documents

Publication Publication Date Title
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
JP4725391B2 (en) Visibility measuring device for vehicle and driving support device
JP5893054B2 (en) Image processing apparatus, image processing server, image processing method, image processing program, and recording medium
JP6453192B2 (en) Image recognition processing apparatus and program
US11794749B2 (en) Methods, systems, and media for determining characteristics of roads
CN110737266B (en) Automatic driving control method and device, vehicle and storage medium
JP4717073B2 (en) Landscape analysis apparatus and method
JPWO2007129382A1 (en) Navigation apparatus and method
JPWO2007119472A1 (en) Navigation device
JP2013109639A (en) Image processing system, server, portable terminal device and image processing method
US8233054B2 (en) Scenery imaging apparatus, scenery imaging method, scenery imaging program, and computer-readable recording medium
JP6443716B2 (en) Image display device, image display method, and image display control program
CN110514219B (en) Navigation map display method and device, vehicle and machine readable medium
JP2006162442A (en) Navigation system and navigation method
CN111157014A (en) Road condition display method and device, vehicle-mounted terminal and storage medium
JP2006270267A (en) Apparatus and method of displaying video image
JP4561338B2 (en) Driving support device
KR102418051B1 (en) Lane traffic situation judgement apparatus, system, and method thereof
JP2012153256A (en) Image processing apparatus
JP5778006B2 (en) Image processing apparatus and image processing method
JP2009230225A (en) Periphery monitoring device for vehicle
JP2009146153A (en) Moving object detection device, moving object detection method and moving object detection program
CN110081901B (en) Intersection display method, device, equipment and computer readable storage medium
JP7275586B2 (en) Video processing device and video processing method
CN113614810A (en) Image processing device, vehicle control device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150708

R150 Certificate of patent or registration of utility model

Ref document number: 5778006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150