JP5778006B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP5778006B2 JP5778006B2 JP2011255162A JP2011255162A JP5778006B2 JP 5778006 B2 JP5778006 B2 JP 5778006B2 JP 2011255162 A JP2011255162 A JP 2011255162A JP 2011255162 A JP2011255162 A JP 2011255162A JP 5778006 B2 JP5778006 B2 JP 5778006B2
- Authority
- JP
- Japan
- Prior art keywords
- speed
- image
- setting value
- image quality
- quality setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、車両の周囲の撮像画像の画質を制御して表示する画像処理装置及び画像処理方法に関する。
The present invention relates to an image processing apparatus and an image processing method for controlling and displaying the image quality of a captured image around a vehicle.
従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。 2. Description of the Related Art Conventionally, a technique has been used in which a surrounding image is captured by a camera mounted on a vehicle, and the surrounding environment of the vehicle is monitored using the surrounding image. And the technique which improves the visibility of a captured image by adjusting image quality setting values, such as the brightness of an image, for example according to the driving | running | working state of a vehicle is also proposed.
例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。
For example, as described in
しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。 However, the image quality adjustment of the captured image in the prior art described above is merely to improve the driver's visibility because the brightness is adjusted in accordance with the image area that the driver gazes at.
一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、渋滞などによって車両が走行と停止を高い頻度で繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、表示させる画像としての品質が低下する。そのため、走行速度の増減によって画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。 On the other hand, in recent years, a technique has been used in which specific objects such as other vehicles and traffic lights in a captured image are recognized by image recognition processing, and state information related to them is acquired and monitored in detail. In order to improve the accuracy and processing speed of the image recognition process, it is necessary to adjust the image quality of the captured image with an image quality setting value suitable for each recognition object. In many cases, the recognition object is switched by increasing or decreasing the traveling speed. For this reason, when a vehicle repeats driving | running | working and a stop with high frequency by traffic congestion etc., the image quality of a captured image will be switched frequently according to it. For example, when the image quality setting value to be adjusted is brightness, the brightness and darkness of the captured image is rapidly and frequently switched to blink, and the quality as an image to be displayed is reduced. Therefore, there has been a demand for a technique that can improve the quality of a captured image to be displayed even when the image quality is switched by increasing or decreasing the traveling speed.
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。 The problem to be solved by the present invention includes the above-described problem as an example.
上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設け、前記撮像手段は、前記移動体の前方画像を撮像し、前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する。
In order to solve the above-mentioned problem, the invention according to
上記課題を解決するために、請求項6記載の発明は、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける画像処理方法であって、前記撮像工程では、前記移動体の前方画像を撮像し、前記認識工程では、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、前記算出工程では、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する。 In order to solve the above problems, the invention according to claim 6 includes an imaging step of capturing an image around the moving body, a detection step of detecting a moving speed is the speed of movement of the movable body, the detection step A calculation step of calculating an image quality setting value when the image is picked up in the imaging step according to the moving speed detected in step, and an image picked up in the imaging step corresponding to the image quality setting value calculated in the calculation step A control process for controlling the image quality of the image, a display process for displaying the image captured in the imaging process, and a recognition target set corresponding to each of a plurality of fixed speed areas in which the image quality setting values are fixedly set. A recognition step for recognizing from the image captured in the imaging step, and in the calculation step, an image quality setting value in each of the plurality of fixed speed regions is set corresponding to the recognition target. Between the plurality of fixed speed region, an image processing method of Ru provided a continuous change speed range to continuously change corresponding to the image quality setting value to the moving speed, in the imaging step, in front of the moving body In the recognition step, the traffic signal is a recognition target in the fixed speed region where the moving speed is near the stop state, and the vehicle in front is recognized in the fixed speed region where the moving speed is equal to or higher than a predetermined speed. In the calculation step, the image quality setting value to be calculated is set as the brightness of the image, the image quality setting value is set to a predetermined stop-time setting value in a fixed speed region where the moving speed is close to a stop state, and the moving speed is In the fixed speed region that is equal to or higher than the predetermined speed, the image quality setting value is set brighter than the predetermined stop setting value .
以下、本発明の実施形態を図面を参照しつつ説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。
FIG. 1 is a perspective view showing a configuration example of a vehicle equipped with a navigation device as an image processing device according to this embodiment. In FIG. 1, the navigation device S is provided with a single
図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
FIG. 2 is a block diagram illustrating a hardware configuration example of the navigation device S. As illustrated in FIG. In FIG. 2, the navigation device S includes a
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。
The
ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
The
イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。
The
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。
The
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
The storage device 12 includes a
GPS13は、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
The
カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。
The
車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。
The
グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。
The
以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。 Hereinafter, the image processing method by the navigation device S of the present embodiment will be described in detail.
図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。
FIG. 3 shows a display example on the
図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。
FIG. 4 shows a display example on the
また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。
The navigation device S also has a function of a drive recorder that keeps recording a front image in an arbitrary period, in addition to the image recognition processing of the preceding vehicle and the traffic light. This drive recorder continuously records the moving image of the front image on the
図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。 FIG. 5 shows an example of a time chart when such image recognition and each process of the drive recorder are executed in parallel by the method of the conventional comparative example.
画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。
In the image recognition process, an application for recognizing a preceding vehicle (abbreviated as “app” in the figure) operates while the
一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。
On the other hand, in the process of the drive recorder executed in parallel with the image recognition process, recording is continuously performed regardless of whether the
そこで本実施形態では、図6に例示するような画像の明るさの変化設定を適用することで、前方画像の明滅の発生を抑制する。図6では、車両速度Vを横軸とし、画像の明るさLを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさLを参照設定値Lsとしている。また、車両速度Vが参照速度Vs以上の状態では、明るさLを参照設定値Lcに固定している。ここで、参照設定値Lsは停止時設定値に相当し、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。 Therefore, in the present embodiment, the occurrence of blinking of the front image is suppressed by applying the change setting of the brightness of the image as illustrated in FIG. In FIG. 6, the change in the corresponding setting value is shown with the vehicle speed V as the horizontal axis and the brightness L of the image as the vertical axis. That is, the brightness setting of the image is changed corresponding to the vehicle speed. In FIG. 6, when the vehicle speed V is 0, that is, when the vehicle is stopped, the brightness L is set as the reference set value Ls. Further, when the vehicle speed V is equal to or higher than the reference speed Vs, the brightness L is fixed to the reference set value Lc. Here, the reference set value Ls corresponds to the set value at the time of stop, has a brightness suitable for traffic signal recognition (40 lux in the illustrated example), and is set to make the front image relatively dark as shown in FIG. Value. The reference set value Lc is a brightness suitable for recognition of the vehicle ahead (80 lux in the illustrated example), and is a set value that makes the front image relatively bright as shown in FIG. The reference speed Vs is a vehicle speed that requires recognition of the preceding vehicle and detection of the inter-vehicle distance (30 km / h in the illustrated example), and is a vehicle speed that cannot be obtained in a congested state.
そして、図6に示す明るさの変化設定で最も特徴としている点は、この例の画質設定値である明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させている。 The most characteristic feature of the brightness change setting shown in FIG. 6 is the stop speed range (V = 0) in which the brightness L, which is the image quality setting value in this example, is fixed to the reference setting value Ls, and the reference. A continuously changing speed region (0 <V <Vs) in which the brightness L is continuously changed corresponding to the vehicle speed V is provided between the traveling speed region (V ≧ Vs) fixed to the set value Lc. It is a point. In this continuous change speed region, the vehicle speed is between reference set values Ls and Lc fixedly set in each of two fixed speed regions (V = 0, V ≧ Vs) sandwiching the continuous change speed region. The brightness L is changed so as to be linearly proportional to V. That is, the brightness L = Ls is fixed in the stop speed range (V = 0), and the brightness L = ((Lc−Ls) / Vs) · V + Ls is proportionally changed in the continuous change speed range (0 <V <Vs). In the running speed range (V ≧ Vs), the brightness L is fixed to Lc.
このような画像の明るさの変化設定を適用することで、車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図7に示すように、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。 By applying such an image brightness change setting, it is possible to prevent a sudden change in image quality setting value even when the vehicle speed V is accelerated or decelerated. That is, in the example of the present embodiment, as shown in FIG. 7 corresponding to FIG. 5, the brightness in the front image can be gradually changed, and the occurrence of blinking in the front image can be suppressed.
図8は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
FIG. 8 is an example of a flowchart showing control contents executed by the
図8において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。 In FIG. 8, first, in step S5, the value of the switch variable SW indicating the presence or absence of the recording operation of the drive recorder is reset to zero.
ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。
In step S10, the vehicle speed V of the
ステップS15へ移り、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS20へ移る。 Moving to step S15, it is determined whether or not the vehicle speed V detected in step S10 is equal to or higher than the reference speed Vs. If the vehicle speed V is less than the reference speed Vs, the determination is not satisfied and the routine goes to Step S20.
ステップS20では、明るさL=((Lc−Ls)/Vs)・V+Lsを算出し設定してからステップS30へ移る。 In step S20, brightness L = ((Lc−Ls) / Vs) · V + Ls is calculated and set, and then the process proceeds to step S30.
一方、上記ステップS15の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS25へ移る。 On the other hand, if the vehicle speed V is equal to or higher than the reference speed Vs in the determination in step S15, the determination is satisfied, and the process proceeds to step S25.
ステップS25では、明るさL=Lcに固定的に設定してからステップS30へ移る。 In step S25, the brightness L is fixedly set to Lc, and then the process proceeds to step S30.
ステップS30では、明るさLに対応する露光となるようカメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。
In step S30, the
ステップS33へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。
In step S33, the
ステップS35へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS40へ移る。
The process proceeds to step S35, and it is determined whether the vehicle speed V detected in step S10 is 0, that is, whether the
ステップS40では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS53へ移る。 In step S40, the traffic light recognition application is activated to recognize the traffic light in the front image and its lighting contents. Next, the process proceeds to step S53.
一方、上記ステップS35の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS45へ移る。 On the other hand, if it is determined in step S35 that the vehicle speed V is not 0, the determination is not satisfied and the routine goes to step S45.
ステップS45では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS50へ移る。 In step S45, it is determined whether or not the vehicle speed V is equal to or higher than the reference speed Vs. If the vehicle speed V is equal to or higher than the reference speed Vs, the determination is satisfied, and the routine goes to Step S50.
ステップS50では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS53へ移る。 In step S50, the forward vehicle recognition application is activated to recognize the forward vehicle in the forward image and detect the inter-vehicle distance. Next, the process proceeds to step S53.
また一方、上記ステップS45の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS53へ移る。なお、上記のステップS35〜S50の手順が、各請求項記載の認識手段に相当する。 On the other hand, if the vehicle speed V is less than the reference speed Vs in the determination in step S45, the determination is not satisfied and the process proceeds to step S53. In addition, the procedure of said step S35-S50 is corresponded to the recognition means as described in each claim.
ステップS53では、上記ステップS33で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS40の信号機認識処理又はステップS50の前方車両認識処理で認識した内容も併せて表示する。なお、このステップS53の手順が、各請求項記載の表示工程に相当する。
In step S53, the front image captured in step S33 is displayed on the
ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。 The process moves to step S55, and it is determined whether or not there is an operation input related to the recording of the drive recorder at that time. If there is no recording operation input, the determination is not satisfied, and the routine goes to Step S75.
一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。 On the other hand, if there is a recording operation input in the determination in step S55, the determination is satisfied, and the routine goes to step S60.
ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。 In step S60, it is determined whether the recording operation that has been input in the determination in step S55 is a recording start operation (ON operation) or a recording end operation (OFF operation). If a recording start operation has been input, the process proceeds to step S65.
ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。 In step S65, the value of the switch variable SW is set to 1, and the process proceeds to step S75.
一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。 On the other hand, if the recording end operation has been input in the determination in step S60, the process proceeds to step S70.
ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。 In step S70, the value of the switch variable SW is set to 0, and the process proceeds to step S75.
ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。 In step S75, it is determined whether or not the value of the switch variable SW is zero. If the value of the switch variable SW is 0, the determination is satisfied, and the process returns to step S10 and the same procedure is repeated.
一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。 On the other hand, if the value of the switch variable SW is 1 in the determination in step S75, the determination is not satisfied and the process proceeds to step S80.
ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。
In step S80, the front image recorded by the
以上のフローチャートにおいて、ステップS15〜ステップS25の手順(算出手段、算出工程に相当)を実行することで、本実施形態での画像設定値の一例である画像の明るさLの設定が行われ、ステップS30の手順で明るさLに対応したフロントカメラ1の露光制御が行われる。上記フローチャートの見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさLの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさL=((Lc−Ls)/Vs)・V+Lsの算出において、車両速度V=0の停車状態では明るさL=Lsに固定設定していることになる。このため実質的には、V=0(停車状態)の固定速度領域においてL=Lsに固定設定し、0<V<Vsの連続変化速度領域においてL=((Lc−Ls)/Vs)・V+Lsで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。
In the above flowchart, by executing the procedure from step S15 to step S25 (equivalent to the calculation means and the calculation process), the setting of the image brightness L, which is an example of the image setting value in the present embodiment, is performed. Exposure control of the
以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車速センサ15が検出した車両速度Vに応じて前記フロントカメラ1が画像を撮像する際の明るさL(画質設定値に相当)を算出するステップS15〜S25の手順(算出手段に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS30の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS35〜S50の手順(認識手段に相当)と、を有し、前記ステップS15〜S25の手順は、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前記前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
As described above, in the navigation device S of the above embodiment, the front camera 1 (corresponding to the imaging unit) that is mounted on the vehicle 100 (corresponding to a moving body) and captures an image around the
また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS33の手順(撮像工程に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出するステップS10の手順(検出工程に相当)と、前記ステップS10の手順で検出した前記車両速度Vに応じて前記ステップS33の手順で画像を撮像する際の明るさLを算出するステップS15〜S25の手順(算出工程に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記ステップS33の手順で撮像する画像の画質を制御するステップS30の手順(制御工程に相当)と、前記ステップS33の手順で撮像した画像を表示するステップS53の手順(表示工程に相当)と、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記ステップS33の手順で撮像した画像中から認識するステップS35〜S50の手順(認識工程に相当)と、を実行し、前記ステップS15〜S25の手順では、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
Further, in the image processing method executed by the navigation device S of the above embodiment, the procedure of step S33 (corresponding to the imaging step) for capturing an image around the vehicle 100 (corresponding to a moving body), and the movement of the
このようにすると、固定速度領域どうしの間に設けられた連続変化速度領域においては、それに隣接する2つの固定速度領域にそれぞれ固定設定された異なる明るさLの設定値Ls,Lcの間で連続的に明るさLを変化させることができる。これにより、2つの固定速度領域に渡って車両速度Vを加速・減速した場合でも、明るさLの急激な切り替えを防ぐことができる。すなわち、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、走行速度の増減によって明るさLを切り替える場合でも、表示させる撮像画像としての品質を向上できる。さらに、明るさLの設定値を各認識対象別に適切に設定することができ、複数の認識対象を固定速度領域別に切り替えて認識可能な画像認識処理を高い精度で実行可能となる。 In this way, in the continuously changing speed region provided between the fixed speed regions, the continuous change between the set values Ls and Lc of different brightness L respectively fixed to the two fixed speed regions adjacent thereto. Thus, the brightness L can be changed. Thereby, even when the vehicle speed V is accelerated / decelerated over two fixed speed regions, it is possible to prevent the brightness L from being rapidly switched. That is, the lightness and darkness in the front image can be changed gradually, and the occurrence of blinking in the front image can be suppressed. As a result, the quality as a captured image to be displayed can be improved even when the brightness L is switched by increasing or decreasing the traveling speed. Furthermore, the setting value of the brightness L can be appropriately set for each recognition target, and an image recognition process capable of being recognized by switching a plurality of recognition targets for each fixed speed region can be executed with high accuracy.
なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。
In the example of this embodiment, the image quality setting value to be adjusted is the brightness of the image, but the present invention is not limited to this. In addition, other image quality setting values such as contrast and sharpness may be set as adjustment targets. In this case, the
上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。
In addition to the above-described configuration, steps S55 to S80 for recording an image captured by the
このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。 If it does in this way, it will become possible to function as a drive recorder, and when recording the animation of the front picture in arbitrary run sections, generation | occurrence | production of blinking can be suppressed and the quality as a captured image can be improved.
なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさLなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。 In addition, when the drive recorder is activated, the image quality setting values such as the brightness L at the time of image capturing are recorded together with the recording of the front image, so that it can be used for image correction at the time of subsequent image reproduction. Can do. In this way, it is possible to perform correction more appropriate than correction performed only from the recorded front image.
上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS35〜S50の手順は、車両速度Vが停止状態付近である固定速度領域では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS15〜S25の手順は、算出する対象の前記画質設定値を画像の明るさLとし、車両速度Vが停止状態付近である固定速度領域では明るさLを参照設定値Ls(停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさLを参照設定値Lsより明るく設定する。
In addition to the above-described configuration, the
このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い参照設定値Lsに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記参照設定値Lsより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。 In this way, the traffic light is recognized only when the vehicle is stopped due to waiting for a red signal or the like, and in that case, the brightness of the front image itself is set to a relatively dark reference setting value Ls, so that surrounding signs, etc. This makes it easier to recognize only the traffic light that emits light by itself, distinguishing it from the red display portion of the. In addition, the front vehicle is recognized only during a traveling state at a reference speed Vs or higher, which requires detection of the inter-vehicle distance with high accuracy, and the brightness of the front image itself is set to the reference set value Ls. By making it brighter, it is possible to improve the visibility of the roadway and to recognize a vehicle located far away.
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさLを参照設定値Lsより明るい参照設定値Lcに設定する。 In addition to the above-described configuration, the procedure of steps S15 to S25 is such that the brightness L is set to the reference set value Ls in the fixed speed region (V = 0) where the vehicle speed V is stopped, and the vehicle speed V is In a fixed speed region (V ≧ Vs) where the inter-vehicle distance with the preceding vehicle is to be detected or higher, the brightness L is set to a reference set value Lc that is brighter than the reference set value Ls.
このようにすると、赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさLsで画像の明るさLを設定でき、また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさLcで画像の明るさLを設定できる。 In this way, the brightness L of the image can be set with the brightness Ls appropriate for traffic signal recognition only when the vehicle is stopped due to waiting for a red signal or the like, and it is necessary to detect the inter-vehicle distance with the preceding vehicle with high accuracy. The brightness L of the image can be set with the brightness Lc appropriate for the forward vehicle recognition only during a traveling state at a certain reference speed Vs or higher.
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさL=((Lc−Ls)/Vs)・V+Lsを変化させる。 In addition to the above-described configuration, the procedure of steps S15 to S25 includes two fixed speed regions (V = 0, V) sandwiching the continuous change speed region in the continuous change speed region (0 <V <Vs). The brightness L = ((Lc−Ls) / Vs) · V + Ls is changed so as to be linearly proportional to the vehicle speed V between the reference set values Ls and Lc fixedly set to ≧ Vs).
このようにすると、連続変化速度領域における明るさLの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさLを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさLの変化は動画品質を向上させるよう機能する。 In this way, the change of the brightness L in the continuous change speed region can be changed so as to connect the change between the two fixed reference set values Ls and Lc most naturally and gently. When the brightness L is discretely changed between the two reference set values Ls and Lc, the above-mentioned gentle change in the brightness L as compared with the fact that the brightness of the image changes rapidly. Works to improve video quality.
なお、上記図6に例示した明るさLの変化設定以外にも、多様なパターンの変化設定を適用してもよい。例えば、上記図6に対応する図9に示すように、信号機認識に適した明るさLsに対応する固定速度領域を、停車状態のV=0から渋滞中に出し得る参照速度Vs1(図示する例では15km/h)までの間に設定する。また、前方車両認識に適した明るさLcに対応する固定速度領域を、前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)以上に設定する。すなわち、明るさLの算出手順においては、車両速度Vが渋滞中に出し得る参照速度Vs1以下である固定速度領域では明るさLの設定値を参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域では明るさLの設定値を参照設定値Lsより明るい参照設定値Lcに設定する。 In addition to the brightness L change setting exemplified in FIG. 6, various pattern change settings may be applied. For example, as shown in FIG. 9 corresponding to FIG. 6 described above, the reference speed Vs1 (example shown in the figure) that can output a fixed speed region corresponding to the brightness Ls suitable for traffic signal recognition from V = 0 in a stopped state during a traffic jam. In the case of 15 km / h). Further, the fixed speed region corresponding to the brightness Lc suitable for the forward vehicle recognition is set to a reference speed Vs2 (30 km / h in the illustrated example) or higher at which the inter-vehicle distance with the forward vehicle is to be detected. That is, in the procedure for calculating the brightness L, the set value of brightness L is set to the reference set value Ls in a fixed speed region where the vehicle speed V is less than or equal to the reference speed Vs1 that can be output during a traffic jam. In a fixed speed region where the inter-vehicle distance with the preceding vehicle is to be detected is equal to or higher than the reference speed Vs2, the setting value of the brightness L is set to a reference setting value Lc brighter than the reference setting value Ls.
またこの場合、連続変化速度領域をそれら固定速度領域の間(Vs1<V<Vs2)に設定し、この連続変化速度領域においては明るさLをL=((Lc−Ls)/(Vs2−Vs1))・(V−Vs1)+Lsで線形比例させて算出する。 In this case, the continuous change speed region is set between these fixed speed regions (Vs1 <V <Vs2), and in this continuous change speed region, the brightness L is set to L = ((Lc−Ls) / (Vs2−Vs1). )) · (V−Vs1) + Ls.
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗を全く変化させずに済むことができる。
In this way, even if the
または、図10に例示するように、連続変化速度領域を停車状態のV=0より大きく前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)未満(0<V<Vs2)に設定し、当該連続変化速度領域の内訳として渋滞中に出し得る参照速度Vs1(図示する例では20km/h)の前後で2つに分けてもよい。そして、参照速度Vs1未満の連続変化速度領域(0<V<Vs1)では、車両速度Vに対する明るさLの変化率を所定の渋滞時変化率(図示する例の(Lm−Ls)/Vs1=15/20lux/km/h)に設定し、参照速度Vs1以上の連続変化速度領域(Vs1≦V<Vs2)では、車両速度Vに対する明るさLの変化率を上記渋滞変化率より大きく設定(図示する例の(Lc−Lm)/(Vs2−Vs1)=25/10lux/km/h)する。 Alternatively, as illustrated in FIG. 10, the continuously changing speed region is larger than V = 0 in the stopped state and less than the reference speed Vs2 (30 km / h in the illustrated example) where the inter-vehicle distance from the preceding vehicle should be detected (0 <V <Vs2) may be divided into two parts before and after a reference speed Vs1 (20 km / h in the illustrated example) that can be output during a traffic jam as a breakdown of the continuous change speed region. Then, in the continuous change speed region (0 <V <Vs1) less than the reference speed Vs1, the change rate of the brightness L with respect to the vehicle speed V is set to a predetermined change rate during traffic congestion ((Lm−Ls) / Vs1 in the illustrated example). 15/20 lux / km / h), and in the continuously changing speed region (Vs1 ≦ V <Vs2) equal to or higher than the reference speed Vs1, the change rate of the brightness L with respect to the vehicle speed V is set to be larger than the above-described congestion change rate (illustrated). (Lc−Lm) / (Vs2−Vs1) = 25/10 lux / km / h).
すなわち、明るさLの算出手順においては、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域(V≧Vs2)では明るさLを上記参照設定値Lsより明るい参照設定値Lcに設定し、車両速度Vが停止状態より大きく渋滞中に出し得る参照速度Vs1以下である連続変化速度領域(0<V<Vs1)では明るさLの変化率を所定の渋滞時変化率に設定し、車両速度Vが渋滞中に出し得る参照速度Vs1より大きく前記前方車両との車間距離を検出すべき参照速度Vs2未満である連続変化速度領域(Vs1≦V<Vs2)では明るさLの変化率を上記渋滞時変化率より大きく設定する。 That is, in the procedure for calculating the brightness L, the brightness L is set to the reference set value Ls in the fixed speed region (V = 0) where the vehicle speed V is in a stopped state, and the vehicle speed V is the distance between the preceding vehicle and the preceding vehicle. In a fixed speed region (V ≧ Vs2) where the distance is to be detected or higher than the reference speed Vs2, the brightness L is set to a reference setting value Lc that is brighter than the reference setting value Ls, and the vehicle speed V is larger than the stop state and is in a traffic jam. In a continuously changing speed region (0 <V <Vs1) that is less than or equal to the reference speed Vs1 that can be output, the change rate of the brightness L is set to a predetermined change rate at the time of traffic jam, and the vehicle speed V is greater than the reference speed Vs1 that can be output during traffic jam. In the continuous change speed region (Vs1 ≦ V <Vs2) where the inter-vehicle distance from the preceding vehicle is to be detected is less than the reference speed Vs2, the change rate of the brightness L is set to be larger than the change rate at the time of congestion.
この場合、明るさLmをLcとLsの平均よりも暗い明るさとして、連続変化速度領域(0<V<Vs1)においては明るさLをL=((Lm−Ls)/Vs1)・V+Lsで線形比例させて算出し、連続変化速度領域(Vs1≦V<Vs2)においては明るさLをL=((Lc−Lm)/(Vs2−Vs1))・(V−Vs1)+Lmで線形比例させて算出する。 In this case, the brightness Lm is set to be darker than the average of Lc and Ls, and the brightness L is L = ((Lm−Ls) / Vs1) · V + Ls in the continuous change speed region (0 <V <Vs1). Calculated linearly, and in the continuous change speed region (Vs1 ≦ V <Vs2), the brightness L is linearly proportional to L = ((Lc−Lm) / (Vs2−Vs1)) · (V−Vs1) + Lm. To calculate.
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗の変化を比較的少なく抑えることができ、また渋滞から抜け出して通常の走行状態に戻る際にも前方画像の明暗の変化を比較的緩やかに抑えることができる。
In this way, even if the
または、図11に例示するように、前方車両との車間距離を検出すべき固定速度領域を、一般道用と高速道路用の2つに分けてもよい。すなわち、明るさLの算出手順においては、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs1より大きく一般道で出し得る参照速度Vs2(図示する例では70km/h)以下である固定速度領域(Vs1<V≦Vs2)では明るさLを参照設定値Lsより明るい参照設定値Lc1(図示する例では80lux)に設定し、車両速度Vが高速道路で出し得る参照速度Vs3(図示する例では90km/h)以上である固定速度領域(Vs2≦V)では明るさLをさらに明るい参照設定値Lc2(図示する例では90lux)に設定する。 Alternatively, as illustrated in FIG. 11, the fixed speed region in which the inter-vehicle distance with the preceding vehicle should be detected may be divided into two for ordinary roads and for highways. That is, in the procedure for calculating the brightness L, the vehicle speed V is greater than the reference speed Vs1 for detecting the inter-vehicle distance from the preceding vehicle, and is below the reference speed Vs2 (70 km / h in the illustrated example) that can be output on a general road. In a certain fixed speed region (Vs1 <V ≦ Vs2), the brightness L is set to a reference setting value Lc1 (80 lux in the illustrated example) brighter than the reference setting value Ls, and the reference speed Vs3 (the vehicle speed V can be output on the highway) ( In the illustrated example, the brightness L is set to a brighter reference set value Lc2 (90 lux in the illustrated example) in a fixed speed region (Vs2 ≦ V) that is 90 km / h) or higher.
またこの場合、それら一般道と高速道路にそれぞれ対応する固定速度領域の間の連続変化速度領域(Vs2<V<Vs3)においては、明るさLをL=((Lc2−Lc1)/(Vs3−Vs2))・(V−Vs2)+Lc1で線形比例させて算出する。 In this case, the brightness L is set to L = ((Lc2−Lc1) / (Vs3−) in the continuously changing speed region (Vs2 <V <Vs3) between the fixed speed regions respectively corresponding to the general road and the highway. Vs2)) · (V−Vs2) + Lc1 is calculated in linear proportion.
このようにすると、一般道の場合よりもさらに遠方の前方車両の認識まで必要とする高速道路において、より明るいLで画像を撮像でき、前方車両認識の精度が向上する。 In this way, an image can be taken with a brighter L on an expressway that requires recognition of a farther forward vehicle than in the case of a general road, and the accuracy of forward vehicle recognition is improved.
また、連続変化速度領域における明るさLの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の増減に限定されない。例えば図12に例示するように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。 Further, the change in the brightness L in the continuous change speed region is not limited to the above-described linear proportional increase / decrease as long as it changes so as to continuously connect the two fixed setting values. For example, as illustrated in FIG. 12, an appropriate curve may be drawn so as to be connected gently.
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit and technical idea of the present invention.
(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図13に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
(1) When a front image is stored in an external database In the above embodiment, a
これにより、ナビゲーション装置SAの記憶媒体12cで過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。
Thereby, even when the past forward image is accidentally deleted in the
(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラとディスプレイを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図14参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさL(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
(2) When configured using an electronic portable terminal In the above embodiment and the first modified example, the device configuration mounted on the
この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさLを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。
In this case, the electronic
また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。
Although not particularly illustrated, the above-described server type can be used even in a configuration using the electronic
なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図15と図16に示す。 The above-described embodiment, first modified example, and second modified example all have the same basic hardware components and software processing contents, and their sharing among the constituent devices is different. Only. The main examples of these assignments are shown in FIGS.
まず図15は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
First, FIG. 15 shows an example of a combination of sharing of hardware components among the components. The storage unit in the hardware components of FIG. 15 corresponds to the
図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。 In addition to the sharing example shown in the drawing, the camera and the display may be equipped either with a portable terminal or an in-vehicle device, and the storage unit may be equipped with any of the portable terminal, the in-vehicle device, or the data center. Each hardware component only needs to be provided in any one of the components that can be equipped, but for example, a configuration may be adopted in which both the mobile terminal and the in-vehicle device are provided with a display. In the mobile terminal usage mode, when the in-vehicle device is used with any of the camera, display, storage unit, and communication unit, the mobile terminal and the cradle can send and receive information signals via a connector or the like. Must be able to be installed.
次に図16は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図16に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。 Next, FIG. 16 shows an example of a combination of sharing of software processing contents among the constituent devices. The software processing contents shown in FIG. 16 include a calculation process for calculating an image quality setting value, an adjustment control process for adjusting the image quality of the image based on the image quality setting value, an image recognition process for recognizing a traffic light and a preceding vehicle from the image, and There are four recording processes of a drive recorder that records images. As for the sharing of the software processing contents, basically, if any CPU having sufficient processing capability is installed in each component device and information can be transmitted and received between each component device, all the processing contents are basically assigned to any component device. Just do it. The sharing example shown in the figure is a main example to the last, and various other combinations are possible.
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。 In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
1 Front camera (equivalent to imaging means)
2
11 CPU
12c Storage medium 14
16
24
31 Electronic portable terminal (equivalent to a portable terminal device)
100 Vehicle S, SA, SB Navigation device
Claims (6)
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設け、
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する
ことを特徴とする画像処理装置。 An imaging means that is mounted on a mobile body and captures an image around the mobile body;
Detecting means for detecting a moving speed which is a moving speed of the moving body;
A calculation unit that calculates an image quality setting value when the imaging unit captures an image according to the moving speed detected by the detection unit;
Control means for controlling the image quality of the image picked up by the image pickup means corresponding to the image quality setting value calculated by the calculation means;
Display means for displaying an image captured by the imaging means;
Recognizing means for recognizing a recognition target set corresponding to each of a plurality of fixed speed areas in which image quality setting values are fixedly set from images picked up by the image pickup means,
The calculating means sets an image quality setting value in each of the plurality of fixed speed areas corresponding to the recognition target, and sets an image quality setting value corresponding to the moving speed between the plurality of fixed speed areas. Provide a continuous change speed region to change continuously ,
The imaging means captures a front image of the moving body,
The recognizing means recognizes a traffic light in a fixed speed region where the moving speed is near a stop state, and recognizes a preceding vehicle in a fixed speed region where the moving speed is equal to or higher than a predetermined speed.
The calculation means sets the image quality setting value to be calculated as the brightness of the image, sets the image quality setting value to a predetermined stop-time setting value in a fixed speed region where the moving speed is near a stop state, and the moving speed The image processing apparatus, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where is equal to or greater than the predetermined speed .
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1記載の画像処理装置。 The calculating means includes
In the fixed speed region where the moving speed is in a stop state, the image quality setting value is set to the predetermined stop time setting value,
2. The image according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where the moving speed is equal to or higher than a speed at which an inter-vehicle distance with the preceding vehicle is to be detected. Processing equipment.
前記移動速度が渋滞中に出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1記載の画像処理装置。 The calculating means includes
In the fixed speed region where the moving speed is less than or equal to the speed that can be put out in a traffic jam, the image quality setting value is set to the predetermined stop setting value,
2. The image according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where the moving speed is equal to or higher than a speed at which an inter-vehicle distance with the preceding vehicle is to be detected. Processing equipment.
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が停止状態より大きく渋滞中に出し得る速度以下である連続変化速度領域では前記画質設定値の変化率を所定の渋滞時変化率に設定し、
前記移動速度が渋滞中に出し得る速度より大きく前記前方車両との車間距離を検出すべき速度未満である連続変化速度領域では前記画質設定値の変化率を前記所定の渋滞時変化率より大きく設定することを特徴とする請求項1記載の画像処理装置。 The calculating means includes
In the fixed speed region where the moving speed is in a stop state, the image quality setting value is set to the predetermined stop time setting value,
In the fixed speed region where the moving speed is equal to or higher than the speed at which the inter-vehicle distance with the preceding vehicle is to be detected, the image quality setting value is set brighter than the predetermined stop setting value,
In the continuous change speed region where the moving speed is larger than the stop state and equal to or less than the speed that can be put out during traffic jam, the change rate of the image quality setting value is set to a predetermined traffic jam change rate,
The rate of change of the image quality setting value is set to be greater than the predetermined rate of change in traffic jams in a continuously changing speed region where the moving speed is greater than the speed that can be output during traffic jams and less than the speed at which the inter-vehicle distance to the preceding vehicle should be detected. The image processing apparatus according to claim 1, wherein:
前記移動速度が前記前方車両との車間距離を検出すべき速度より大きく一般道で出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が高速道路で出し得る速度以上である固定速度領域では前記画質設定値をさらに明るく設定することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。 The calculating means includes
In a fixed speed region where the moving speed is greater than the speed at which the inter-vehicle distance to the preceding vehicle should be detected and less than or equal to the speed that can be taken on a general road, the image quality setting value is set brighter than the predetermined stop setting value,
5. The image processing apparatus according to claim 2, wherein the image quality setting value is set to be brighter in a fixed speed region where the moving speed is equal to or higher than a speed that can be output on an expressway.
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、
前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける画像処理方法であって、
前記撮像工程では、前記移動体の前方画像を撮像し、
前記認識工程では、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出工程では、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定する
ことを特徴とする画像処理方法。 An imaging step of capturing an image around the moving body;
A detecting step of detecting a moving speed that is a moving speed of the moving body;
A calculation step of calculating an image quality setting value when an image is picked up in the image pickup step in accordance with the moving speed detected in the detection step;
A control step for controlling the image quality of the image captured in the imaging step in correspondence with the image quality setting value calculated in the calculation step;
A display process for displaying the image captured in the imaging process;
A recognition step of recognizing a recognition target set corresponding to each of a plurality of fixed speed regions in which image quality setting values are fixedly set from the images captured in the imaging step,
In the calculating step, an image quality setting value in each of the plurality of fixed speed areas is set corresponding to the recognition target, and an image quality setting value is set in correspondence with the moving speed between the plurality of fixed speed areas. an image processing method for Ru provided a continuous change speed region continuously changing,
In the imaging step, a front image of the moving body is captured,
In the recognition step, a traffic light is a recognition target in a fixed speed region where the moving speed is near a stop state, and a preceding vehicle is a recognition target in a fixed speed region where the moving speed is equal to or higher than a predetermined speed.
In the calculation step, the image quality setting value to be calculated is set as the brightness of the image, and the image quality setting value is set to a predetermined stop-time setting value in a fixed speed region where the moving speed is near a stop state, and the moving speed is set. The image processing method according to claim 1, wherein the image quality setting value is set to be brighter than the predetermined stop-time setting value in a fixed speed region where is equal to or greater than the predetermined speed .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255162A JP5778006B2 (en) | 2011-11-22 | 2011-11-22 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255162A JP5778006B2 (en) | 2011-11-22 | 2011-11-22 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013109638A JP2013109638A (en) | 2013-06-06 |
JP5778006B2 true JP5778006B2 (en) | 2015-09-16 |
Family
ID=48706315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011255162A Active JP5778006B2 (en) | 2011-11-22 | 2011-11-22 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5778006B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6367531B2 (en) * | 2013-07-12 | 2018-08-01 | 矢崎エナジーシステム株式会社 | OBE |
KR102545453B1 (en) * | 2021-05-13 | 2023-06-20 | 주식회사 엘지유플러스 | Vehicle image processing device, road image analysis, and interconnection therebetween |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132253A (en) * | 1997-07-08 | 1999-02-02 | Hitachi Ltd | Image-processing unit |
JP2006222844A (en) * | 2005-02-14 | 2006-08-24 | Fujitsu Ten Ltd | On-vehicle image information output device, and method of controlling same |
US20060269105A1 (en) * | 2005-05-24 | 2006-11-30 | Langlinais Ashton L | Methods, Apparatus and Products for Image Capture |
JP2008174078A (en) * | 2007-01-18 | 2008-07-31 | Xanavi Informatics Corp | Device and method for controlling in-vehicle camera |
JP2008244674A (en) * | 2007-03-26 | 2008-10-09 | Kyocera Corp | Radio terminal, in-vehicle radio terminal holder, server and drive recorder system |
-
2011
- 2011-11-22 JP JP2011255162A patent/JP5778006B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013109638A (en) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210365696A1 (en) | Vehicle Intelligent Driving Control Method and Device and Storage Medium | |
JP4725391B2 (en) | Visibility measuring device for vehicle and driving support device | |
JP5893054B2 (en) | Image processing apparatus, image processing server, image processing method, image processing program, and recording medium | |
JP6453192B2 (en) | Image recognition processing apparatus and program | |
US11794749B2 (en) | Methods, systems, and media for determining characteristics of roads | |
CN110737266B (en) | Automatic driving control method and device, vehicle and storage medium | |
JP4717073B2 (en) | Landscape analysis apparatus and method | |
JPWO2007129382A1 (en) | Navigation apparatus and method | |
JPWO2007119472A1 (en) | Navigation device | |
JP2013109639A (en) | Image processing system, server, portable terminal device and image processing method | |
US8233054B2 (en) | Scenery imaging apparatus, scenery imaging method, scenery imaging program, and computer-readable recording medium | |
JP6443716B2 (en) | Image display device, image display method, and image display control program | |
CN110514219B (en) | Navigation map display method and device, vehicle and machine readable medium | |
JP2006162442A (en) | Navigation system and navigation method | |
CN111157014A (en) | Road condition display method and device, vehicle-mounted terminal and storage medium | |
JP2006270267A (en) | Apparatus and method of displaying video image | |
JP4561338B2 (en) | Driving support device | |
KR102418051B1 (en) | Lane traffic situation judgement apparatus, system, and method thereof | |
JP2012153256A (en) | Image processing apparatus | |
JP5778006B2 (en) | Image processing apparatus and image processing method | |
JP2009230225A (en) | Periphery monitoring device for vehicle | |
JP2009146153A (en) | Moving object detection device, moving object detection method and moving object detection program | |
CN110081901B (en) | Intersection display method, device, equipment and computer readable storage medium | |
JP7275586B2 (en) | Video processing device and video processing method | |
CN113614810A (en) | Image processing device, vehicle control device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5778006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |