JP5759907B2 - In-vehicle imaging device - Google Patents
In-vehicle imaging device Download PDFInfo
- Publication number
- JP5759907B2 JP5759907B2 JP2012009043A JP2012009043A JP5759907B2 JP 5759907 B2 JP5759907 B2 JP 5759907B2 JP 2012009043 A JP2012009043 A JP 2012009043A JP 2012009043 A JP2012009043 A JP 2012009043A JP 5759907 B2 JP5759907 B2 JP 5759907B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vehicle
- video
- subject
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、車両に搭載し車外の被写体を撮像する車載撮像装置に関する。 The present invention relates to an in-vehicle imaging device that is mounted on a vehicle and images a subject outside the vehicle.
従来の車載撮像装置においてコントラストの差がある被写体を撮像する場合、撮像装置のダイナミックレンジを超えると被写体全体を適切に表示できなくなる。これを解決するため例えば特許文献１では、コントラストの大きい状況下でも監視対象をモニタに明確に表示させるため、任意に異なる露光時間の２枚の画像を合成し、１枚の画像として出力する技術が提案されている。 When imaging a subject having a difference in contrast in a conventional in-vehicle imaging device, the entire subject cannot be properly displayed when the dynamic range of the imaging device is exceeded. In order to solve this problem, for example, in Patent Document 1, in order to clearly display a monitoring target on a monitor even under a high contrast condition, a technique of combining two images having arbitrarily different exposure times and outputting the image as one image Has been proposed.
上記特許文献１に記載のダイナミックレンジ処理技術は、短時間露光と長時間露光の２枚の画像を合成するものであるが、それぞれの露光タイミングが異なるために、被写体が高速で動く場合には合成後の被写体画像にブレが発生する。この被写体ブレは、視認性を悪化させるだけでなく、画像認識時の誤認識の原因となってしまう。従来の車載撮像装置では、被写体が高速で動く場合にダイナミックレンジ処理により生じる被写体ブレについて考慮されていなかった。 The dynamic range processing technique described in Patent Document 1 combines two images of short-time exposure and long-time exposure. However, when the subject moves at high speed because each exposure timing is different. Blur occurs in the combined subject image. This subject blur not only deteriorates visibility but also causes misrecognition during image recognition. In the conventional vehicle-mounted imaging device, subject blur caused by dynamic range processing when the subject moves at high speed has not been considered.
本発明の目的は、高速で走行する車両からの撮影時や、高速で移動する被写体の撮影時に、被写体ブレがなくかつコントラストの改善が可能な車載撮像装置を提供することにある。 An object of the present invention is to provide an in-vehicle image pickup apparatus which is free from subject blurring and can improve contrast when photographing from a vehicle traveling at high speed or photographing a subject moving at high speed.
本発明の車載撮像装置は、被写体を撮影する撮像部と、撮影画像の輝度分布を解析する映像解析部と、撮影画像の輝度分布が適正になるよう補正する映像処理部と、車両の走行状態を検出する走行状態検出部と、撮像部と映像処理部を制御する映像制御部とを備える。映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、映像制御部は、走行状態検出部の検出した走行状態に応じて、映像処理部に対してＷＤＲ処理とコントラスト補正処理とを切り替えて行わせる。 An in-vehicle imaging device of the present invention includes an imaging unit that captures a subject, a video analysis unit that analyzes a luminance distribution of a captured image, a video processing unit that corrects the luminance distribution of the captured image, and a running state of the vehicle A running state detecting unit for detecting the image, and a video control unit for controlling the imaging unit and the video processing unit. The video processing unit adjusts the gradation so as to expand a wide dynamic range process (WDR process) that combines one image from two images with different exposure conditions and a concentrated luminance distribution for one image. Contrast correction processing can be performed, and the video control unit causes the video processing unit to switch between WDR processing and contrast correction processing according to the running state detected by the running state detection unit.
例えば前記走行状態検出部は車両の走行速度を検出する車速センサ部であり、走行速度が閾値Ａを超えるときは映像処理部においてコントラスト補正処理を行い、走行速度が閾値Ａ以下のときは映像処理部においてＷＤＲ処理を行う。 For example, the traveling state detection unit is a vehicle speed sensor unit that detects the traveling speed of the vehicle. When the traveling speed exceeds the threshold A, the image processing unit performs contrast correction processing, and when the traveling speed is equal to or less than the threshold A, image processing is performed. The WDR process is performed in the unit.
さらに撮影画像から被写体の動きを検出し車両に対する被写体の相対速度を算出する動体解析部を備え、被写体速度が閾値Ｂを超えるときは、車両の走行速度によらず、映像処理部においてコントラスト補正処理を行う。 Furthermore, a moving body analysis unit that detects the movement of the subject from the captured image and calculates the relative speed of the subject with respect to the vehicle is provided. When the subject speed exceeds the threshold B, the video processing unit performs contrast correction processing regardless of the vehicle traveling speed. I do.
本発明の車載撮像装置によれば、車両の速度や被写体の速度によらず、視認性が向上し画像認識における誤認識を防止する効果がある。 According to the in-vehicle imaging device of the present invention, the visibility is improved regardless of the speed of the vehicle and the speed of the subject, and there is an effect of preventing erroneous recognition in image recognition.
以下、本発明の各実施例を図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本発明による車載撮像装置の第１の実施例を示すブロック構成図である。
撮像部１は、被写体からの入射光を集めるためのレンズと、レンズが集めた光を光電変換し画像信号として出力する撮像素子と、電子シャッタ制御部及び利得制御部を有する。映像解析部２は、撮像部１からの撮影画像について、画像の輝度や色に関する分布やヒストグラムの解析を行う。
FIG. 1 is a block diagram showing a first embodiment of an in-vehicle imaging device according to the present invention.
The imaging unit 1 includes a lens that collects incident light from a subject, an imaging device that photoelectrically converts light collected by the lens and outputs it as an image signal, an electronic shutter control unit, and a gain control unit. The
映像処理部３は、撮影した画像について適正な輝度分布となるように補正する。具体的には、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）を実施するＷＤＲ処理部４と、１枚の画像に対してコントラスト補正を実施するコントラスト補正処理部５から構成され、いずれかの処理を選択して実施する。なお、ＷＤＲ処理やコントラスト補正処理において、映像解析部２の解析結果を用いる。
The
車速センサ部７は、当該車載撮像装置が搭載された車両の走行速度を検出する。映像制御部６は、映像解析部２による映像解析結果および車速センサ部７の車速情報に基づき、撮像部１と映像処理部３を制御する。すなわち、撮像部１に制御信号を送り、露光条件（シャッター時間など）を変化させる。また、映像処理部３に制御信号を送り、ＷＤＲ処理とコントラスト補正処理との切り替えを指示する。
The vehicle
図２は、本実施例の映像制御部６の制御フローを示す図である。車速センサ部７で車両の速度（車速）を検出すると（Ｓ１０１）、映像制御部６は車速を閾値速度Ａと比較する（Ｓ１０２）。車速が閾値速度Ａよりも大きい場合には、映像処理部３に対してコントラスト補正処理を実施するように制御する（Ｓ１０３）。車速が閾値速度Ａ以下の場合には、映像処理部３に対してＷＤＲ処理を実施するように制御する（Ｓ１０４）。
FIG. 2 is a diagram illustrating a control flow of the
ここで、映像処理部３が行うＷＤＲ処理とコントラスト補正処理について説明する。車載カメラなど屋外の太陽光下で撮影する被写体は、輝度差（コントラスト）が非常に大きく信号のダイナミックレンジが大きいシーンが多数存在する。そのようなシーンにおいて通常の撮影条件で撮影すると、被写体やその背景に白とびや黒つぶれが発生し、画像認識時の誤認識の原因となってしまう。そこで本実施例では、ＷＤＲ処理およびコントラスト補正処理により、ダイナミックレンジの大きなシーンに対して、白とびや黒つぶれの発生を抑えるようにしている。
Here, the WDR processing and contrast correction processing performed by the
図３は、ＷＤＲ処理を説明する図である。ダイナミックレンジを拡大するＷＤＲ処理にはいくつかの方式が存在するが、ここでは露光条件の異なる２枚の画像から１枚の画像を合成する場合を示す。図では撮影画像の各輝度レベルに対する出現度数（ヒストグラム）を示したもので、（ａ）は露光時間の長い低速シャッタ、すなわち低輝度信号領域１３Ｌに対して階調表現を行った画像であり、（ｂ）は露光時間の短い高速シャッタ、すなわち高輝度信号領域１３Ｈに対して階調表現を行った画像である。（ｃ）は２つの画像を用いて各領域１３Ｌ，１３Ｈの部分（実線の部分）を合成した画像で、低輝度と高輝度の両領域で階調表現が可能となっている。なお、露光タイミングの制御方式としては、長時間露光と短時間露光の両方を１／６０ｓｅｃ内で行い、合成後のＷＤＲ画像を６０フレーム／ｓｅｃで表示する方式と、長時間露光と短時間露光を１／６０ｓｅｃ毎に交互に行い、合成後のＷＤＲ画像を３０フレーム／ｓｅｃで表示する方式などがある。本実施例では前者の６０フレーム／ｓｅｃで表示する方式を用いている。
FIG. 3 is a diagram for explaining the WDR process. There are several methods for WDR processing for expanding the dynamic range. Here, a case where one image is synthesized from two images having different exposure conditions is shown. In the figure, the frequency of appearance (histogram) for each luminance level of the photographed image is shown. (A) is a low-speed shutter having a long exposure time, that is, an image in which gradation representation is performed on the low
図４は、コントラスト補正処理を説明する図である。コントラスト補正処理とは、撮影画像の低輝度領域の黒つぶれと高輝度領域の白とびに対して、それぞれ階調を補正するものである。図では撮影画像の各輝度レベルに対する出現度数（ヒストグラム）を示したもので、（ａ）は階調補正前、（ｂ）は階調補正後である。（ａ）では、撮影画像の低輝度領域１４Ｌと高輝度領域１４Ｈの両領域において階調表現が十分になされておらず、黒つぶれや白とびが発生している。これに対し（ｂ）では、輝度分布が集中している低輝度領域と高輝度領域に対し、輝度分布を拡張させるように階調を補正する。これにより輝度分布が拡張され、十分な階調表現がなされた低輝度領域１４Ｌ’と高輝度領域１４Ｈ’に変換できる。なお、コントラスト補正処理は画像が１フレーム入力する毎に実行するものであるから、入力画像のフレームレートと出力画像のフレームレートは等しくなる（例えば両者とも６０フレーム／ｓｅｃ）。
FIG. 4 is a diagram for explaining the contrast correction processing. The contrast correction process is to correct gradations for blackout in a low brightness area and overexposure in a high brightness area of a captured image. In the figure, the appearance frequency (histogram) for each luminance level of the photographed image is shown. (A) is before gradation correction and (b) is after gradation correction. In (a), gradation representation is not sufficiently performed in both the
次に、本実施例において車速センサ部７の情報に基づいてＷＤＲ処理とコントラスト補正処理を切り替える理由について述べる。
まずＷＤＲ処理の場合、露光時間の異なる２枚の最適露光画像を合成することでダイナミックレンジを大幅に拡大できるが、合成する短時間露光と長時間露光の個々の露光タイミングが異なるために、被写体が高速で動く場合には被写体ブレが発生するという問題がある。この被写体ブレは、視認性はもとより、画像認識時には誤認識や認識率の低下などの原因となってしまう。
Next, the reason why the WDR process and the contrast correction process are switched based on the information of the vehicle
First, in the case of WDR processing, the dynamic range can be greatly expanded by compositing two optimal exposure images with different exposure times. However, since the individual exposure timings of the short exposure and the long exposure to be combined differ, When the camera moves at high speed, there is a problem that subject blurring occurs. This subject blur causes not only visibility but also misrecognition and a decrease in recognition rate during image recognition.
これに対しコントラスト補正処理では、補正処理が１フレームの中で完結しているので、コントラスト補正処理により被写体ブレが発生することはない。しかしながら、ダイナミックレンジの拡大幅の点ではＷＤＲ方式に比較すると劣っている。 On the other hand, in the contrast correction process, since the correction process is completed within one frame, no subject blur occurs due to the contrast correction process. However, it is inferior to the WDR method in terms of the expansion range of the dynamic range.
そこでこの２方式の特徴を考慮し、以下のようにＷＤＲ処理とコントラスト補正処理を切り替える。
まず車両がある速度（閾値Ａ）以下で低速走行中には、ＷＤＲ処理に切り替える。撮像装置と被写体との相対速度は比較的小さいので、ＷＤＲ処理による映像処理を行っても被写体ブレは発生しにくい。車両が低速で走行する場合は、被写体の明暗差が大きい地下駐車場の出入り口や夜間の見通しが悪い場所のように、被写体に対して特に注意を要するときが多い。このような場合にＷＤＲ処理に切り替えることで、ダイナミックレンジを大幅に改善して白とびや黒つぶれをなくし、視認性や画像認識率の改善が可能となる。
Therefore, considering the characteristics of these two methods, the WDR process and the contrast correction process are switched as follows.
First, when the vehicle is traveling at a low speed below a certain speed (threshold A), the process is switched to the WDR process. Since the relative speed between the imaging device and the subject is relatively small, subject blurring is unlikely to occur even when video processing by WDR processing is performed. When a vehicle travels at a low speed, it is often necessary to pay special attention to the subject, such as an entrance / exit of an underground parking lot where the subject has a large difference in light and darkness, or a place where nighttime visibility is poor. By switching to WDR processing in such a case, the dynamic range can be greatly improved to eliminate overexposure and underexposure, and visibility and image recognition rate can be improved.
次に車両がある速度（閾値Ａ）を超えて高速走行中には、コントスト補正処理に切り替える。撮像装置と被写体（車両と同一方向に高速に移動する被写体を除く）との相対速度は大きいが、補正処理による被写体ブレの発生がなく、白とびや黒つぶれを改善して視認性や画像認識率の向上が可能となる。 Next, when the vehicle exceeds a certain speed (threshold A) and is traveling at a high speed, the control is switched to the contrast correction process. Although the relative speed between the imaging device and the subject (excluding subjects moving at high speed in the same direction as the vehicle) is high, there is no subject blur due to correction processing, and overexposure and blackout are improved to improve visibility and image recognition. The rate can be improved.
図５は、本発明による車載撮像装置の第２の実施例を示すブロック構成図である。実施例２では、実施例１（図１）の構成において車速センサ部７に代えてシフトレバー検知部８を備えている。シフトレバー検知部８は車両のシフトレバー位置（すなわちギア位置）を検出する。
FIG. 5 is a block diagram showing a second embodiment of the in-vehicle imaging device according to the present invention. In the second embodiment, a shift
図６は、実施例２の映像制御部６の制御フローを示す図である。この場合の制御は、シフトレバー検知部８によりギア位置を検出し（Ｓ２０１）、ギア位置が２速以上に設定されているかどうかを判定する（Ｓ２０２）。２速以上であれば、コントラスト補正処理に切り替え（Ｓ２０３）、それ以外の位置（１速、バック位置、ニュートラル位置など）であれば、ＷＤＲ処理に切り替える（Ｓ２０４）。なおＳ２０２におけるギア位置の判定でどのギア位置と比較するかは、車両の性能を考慮して適宜定めれば良い。
FIG. 6 is a diagram illustrating a control flow of the
本実施例の具体的な効果について説明する。シフトレバーの位置が２速以上でない（１速、バック位置、ニュートラル位置など）ときは、車両が低速で走行する場合が多く、ＷＤＲ処理を実施しても被写体ブレは発生しにくい。特に車両をバック走行するときはドライバーにとって目視確認が困難となりやすいが、ＷＤＲ処理によりダイナミックレンジを大幅に拡大することで視認性が改善する。 Specific effects of the present embodiment will be described. When the position of the shift lever is not the second speed or higher (first speed, back position, neutral position, etc.), the vehicle often travels at a low speed, and subject blurring is unlikely to occur even when the WDR process is performed. In particular, it is difficult for the driver to visually confirm the vehicle when traveling backward, but the visibility is improved by greatly expanding the dynamic range by the WDR process.
図７は、本発明による車載撮像装置の第３の実施例を示すブロック構成図である。実施例３では、実施例１（図１）における車速センサ部７と、実施例２（図５）におけるシフトレバー検知部８の両方を備えている。
FIG. 7 is a block diagram showing a third embodiment of the in-vehicle imaging device according to the present invention. The third embodiment includes both the vehicle
図８は、実施例３の映像制御部６の制御フローを示す図である。この場合の制御は、ギア位置が２速以上であって（Ｓ３０２）、かつ車速が閾値Ａを超えている場合（Ｓ３０３）にコントラスト補正処理に切り替えるものである（Ｓ３０４）。これにより、２つの判定（ギア位置、車速）が食い違っている場合に、ＷＤＲ処理を優先して実施させることができる。
FIG. 8 is a diagram illustrating a control flow of the
図９は、本発明による車載撮像装置の第４の実施例を示すブロック構成図である。実施例４では、実施例１（図１）の構成に動体解析部９を追加している。動体解析部９は撮影画像から被写体の動きを検出し、車両に対する被写体の相対速度を算出する。
FIG. 9 is a block diagram showing a fourth embodiment of the in-vehicle imaging device according to the present invention. In the fourth embodiment, a moving
図１０は、実施例４の映像制御部６の制御フローを示す図である。この場合の制御は、車速センサ部７で検出した車速と、動体解析部９で算出した被写体速度（車両に対する相対速度）を用いる（Ｓ４０１）。車速が閾値Ａを超えているかを判定し（Ｓ４０２）、また被写体速度が閾値Ｂを超えているかを判定する（Ｓ４０３）。いずれかの判定がＹｅｓであればコントラスト補正処理に切り替え（Ｓ４０４）、両方の判定ともＮｏであればＷＤＲ処理に切り替える（Ｓ４０５）。
FIG. 10 is a diagram illustrating a control flow of the
本実施例の具体的な効果について説明する。ＷＤＲ処理を行うのは車速が閾値Ａ以下の低速走行中で、かつ被写体の相対速度が閾値Ｂ以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、車速が閾値Ａを超えるとき、または被写体の相対速度が閾値Ｂを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。 Specific effects of the present embodiment will be described. Since the WDR process is performed when the vehicle speed is low-speed traveling below the threshold A and the relative speed of the subject is below the threshold B, subject blur is unlikely to occur, and the dynamic range can be expanded. . On the other hand, when the vehicle speed exceeds the threshold value A or when the relative speed of the subject exceeds the threshold value B, the control is switched to the contrast correction process, so that no subject blur occurs.
図１１は、本発明による車載撮像装置の第５の実施例を示すブロック構成図である。実施例５では、実施例４（図９）における動体解析部９を備えるとともに、車速センサ部７に代えてシフトレバー検知部８を備えている。シフトレバー検知部８は実施例２（図５）における機能と同様である。
FIG. 11 is a block diagram showing a fifth embodiment of the in-vehicle imaging device according to the present invention. In the fifth embodiment, the moving
図１２は、実施例５の映像制御部６の制御フローを示す図である。この場合の制御は、シフトレバー検知部８で検出したギア位置と、動体解析部９で算出した被写体速度（車両に対する相対速度）を用いる（Ｓ５０１）。ギア位置が２速以上に設定されているかを判定し（Ｓ５０２）、また被写体速度が閾値Ｂを超えているかを判定する（Ｓ５０３）。いずれかの判定がＹｅｓであればコントラスト補正処理に切り替え（Ｓ５０４）、両方の判定ともＮｏであればＷＤＲ処理に切り替える（Ｓ５０５）。
FIG. 12 is a diagram illustrating a control flow of the
本実施例の具体的な効果について説明する。ＷＤＲ処理を行うのはギア位置が低速走行位置であり、かつ被写体の相対速度が閾値Ｂ以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、ギア位置が高速走行位置のとき、または被写体の相対速度が閾値Ｂを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。 Specific effects of the present embodiment will be described. Since the WDR process is performed when the gear position is the low-speed traveling position and the relative speed of the subject is equal to or less than the threshold value B, the subject blur is unlikely to occur, and the dynamic range can be expanded. On the other hand, when the gear position is the high-speed traveling position or when the relative speed of the subject exceeds the threshold value B, the control is switched to the contrast correction process, so that subject blur does not occur.
図１３は、本発明による車載撮像装置の第６の実施例を示すブロック構成図である。実施例６では、実施例４（図９）における動体解析部９と車速センサ部７を備えるとともに、実施例５（図１１）におけるシフトレバー検知部８を備えている。
FIG. 13 is a block diagram showing a sixth embodiment of the in-vehicle imaging device according to the present invention. In the sixth embodiment, the moving
図１４は、実施例６の映像制御部６の制御フローを示す図である。この場合の制御は、ギア位置が２速以上であって（Ｓ６０２）かつ車速が閾値Ａを超えている場合（Ｓ６０３）、または被写体速度が閾値Ｂを超えている場合（Ｓ６０４）にコントラスト補正処理に切り替える（Ｓ６０５）。それ以外の場合はＷＤＲ処理に切り替える（Ｓ６０６）。本実施例では３つの判定条件を設けており、被写体ブレの発生をより確実に防止できる。
FIG. 14 is a diagram illustrating a control flow of the
図１５は、本発明による車載撮像装置の第７の実施例を示すブロック構成図である。実施例７では、実施例１（図１）の構成において車速センサ部７に代えて位置情報取得部１０と特定位置情報保持部１１を備えている。映像制御部６は、位置情報取得部１０からの位置情報と特定位置情報保持部１１の保持する特定位置情報を比較して、それらの一致／不一致を判定して映像処理部３を制御する。
FIG. 15 is a block diagram showing a seventh embodiment of the in-vehicle imaging device according to the present invention. The seventh embodiment includes a position
位置情報取得部１０は車両の現在位置を取得するもので、例えばＧＰＳ（Global Positioning System）などの位置情報システムを用いる。また特定位置情報保持部１１は、撮影する被写体の明暗差（輝度差）が所定値より大きくなることが想定される位置を特定位置Ｃとして記憶する。ここで明暗差が大きい特定位置Ｃとは、例えばトンネルの出入り口、地下駐車場の出入り口などが相当し、ナビゲーションシステムの地図情報を利用することで特定位置情報保持部１１に記憶させることができる。
The position
図１６は、実施例７の映像制御部６の制御フローを示す図である。位置情報取得部１０により現在位置を検出し（Ｓ７０１）、これを特定位置情報保持部１１の保持する特定位置Ｃと比較する（Ｓ７０２）。現在位置が特定位置Ｃに一致すればＷＤＲ処理に切り替え（Ｓ７０４）、特定位置Ｃに一致しなければコントラスト補正処理に切り替える（Ｓ７０３）。なお、一致／不一致の判定では、特定位置Ｃのみでなくその近傍領域を含めて特定位置Ｃとしても良い。これより、撮影する被写体の明暗差が所定値より大きくなることが想定される位置では、ＷＤＲ処理への切り替えを行うことができる。
FIG. 16 is a diagram illustrating a control flow of the
本実施例の具体的な効果について説明する。走行する車両が被写体の明暗差が大きくなるトンネルの出入り口などに差しかかると、自動的にＷＤＲ処理を実施する。これにより、被写体の白とびや黒つぶれの発生しやすい被写体に対しダイナミックレンジを大幅に拡大して、視認性や画像認識率を改善することができる。 Specific effects of the present embodiment will be described. When the traveling vehicle reaches the entrance of a tunnel where the contrast of the subject is large, the WDR process is automatically performed. As a result, the dynamic range can be greatly expanded for a subject that is subject to overexposure or underexposure, and the visibility and image recognition rate can be improved.
なお、本実施例の構成に前記した実施例１−６の各構成を組み合わせることも可能であり、より高精度の制御が可能になる。 In addition, it is also possible to combine each structure of above-mentioned Example 1-6 with the structure of a present Example, and a highly accurate control is attained.
図１７は、本発明による車載撮像装置の第８の実施例を示すブロック構成図である。実施例８では、実施例１（図１）の構成に画像認識部１２を追加している。画像認識部１２は映像処理部３からの映像出力を用いて、特定の被写体（歩行者、他の車両、標識など）の認識処理を行い、認識結果（危険時はアラーム信号）を出力する。
FIG. 17 is a block diagram showing an eighth embodiment of the in-vehicle imaging device according to the present invention. In the eighth embodiment, an
映像制御部６は車速センサ部７からの車速情報を受け、映像処理部３に対してＷＤＲ処理とコントラスト補正処理の切り替えを行うが、本実施例ではその切替情報６ａを画像認識部１２に対しても送る。画像認識部１２では被写体の認識処理を行う際、送られた切替情報６ａを考慮する。その理由は、コントラスト補正処理時は被写体ブレが生じないが、ＷＤＲ処理時は被写体ブレが生じ、認識結果の精度が悪化する可能性があるからである。そこで画像認識部１２では、この切替情報６ａを参照して認識結果の確度を予測し、認識処理時の誤判定や誤認識を防止する。
The
さらに画像認識部１２は映像制御部６に対して、現在の認識率情報１２ａを送る。認識率情報１２ａは認識処理の成功率を示すもので、被写体ブレなどが存在すると悪化する。映像制御部６は送られた認識率情報１２ａを考慮して映像処理部３を制御する。すなわち、認識率が所定値以下となったら、ＷＤＲ処理からコントラスト補正処理への切り替えを行う。
Further, the
本実施例によれば、ＷＤＲ処理により被写体ブレが発生しても画像認識処理動作への影響（誤動作）を防止し、また何らかの要因で認識処理に誤動作が生じても、コントラスト補正処理に切り替えることで常に安定した認識処理を行うことができる。 According to the present embodiment, even if subject blurring occurs due to WDR processing, the influence on image recognition processing operation (malfunction) is prevented, and even if recognition processing malfunctions for some reason, switching to contrast correction processing is performed. Can always perform stable recognition processing.
本実施例では映像処理切替判定のために車速センサ部７を有する実施例１の構成としたが、これに代えてシフトレバー検知部８をはじめとする前記した他の実施例２−７の構成としても良いことは言うまでもない。
In the present embodiment, the configuration of the first embodiment having the vehicle
以上述べた各実施例では、映像処理部３のＷＤＲ処理とコントラスト補正処理とを切り替えるため、ＷＤＲ処理部４とコントラスト補正処理部５を並列に接続する構成とした。その変形例として、図１８に示すようにＷＤＲ処理部４とコントラスト補正処理部５を直列に接続し、一方の処理をスルー処理（すなわち処理効果なし）としてもよい。このような直列接続構成とすることで、例えばＷＤＲ処理からコントラスト補正処理に切り替える際、ＷＤＲ処理効果を弱めつつコントラスト補正処理効果を強めていくようにすれば、各処理の切り替わりを滑らかにすることが可能となる。また反対にコントラスト補正処理からＷＤＲ処理に切り替える際は、コントラスト補正処理効果を弱めつつＷＤＲ処理効果を強めていくことで、各処理の切り替わりを滑らかにすることが可能となる。
In each of the embodiments described above, the
１…撮像部、
２…映像解析部、
３…映像処理部、
４…ＷＤＲ処理部、
５…コントラスト補正処理部、
６…映像制御部、
７…車速センサ部、
８…シフトレバー検知部、
９…動体解析部、
１０…位置情報取得部、
１１…特定位置情報保持部、
１２…画像認識部。
1 ... Imaging unit,
2 ... Video analysis department,
3 ... Video processing unit,
4 ... WDR processing unit,
5. Contrast correction processing unit
6 ... Video controller,
7: Vehicle speed sensor,
8: Shift lever detector,
9 ... Moving object analysis unit,
10 ... position information acquisition unit,
11: Specific position information holding unit,
12: Image recognition unit.
Claims (5)
被写体を撮影する撮像部と、
撮影画像の輝度分布を解析する映像解析部と、
該撮影画像の輝度分布が適正になるよう補正する映像処理部と、
前記車両の走行状態を検出する走行状態検出部と、
前記撮像部と前記映像処理部を制御する映像制御部とを備え、
前記映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、
前記映像制御部は、前記走行状態検出部の検出した走行状態に応じて、前記映像処理部に対して前記ＷＤＲ処理と前記コントラスト補正処理とを切り替えて行わせ、
前記走行状態検出部として、前記車両の現在位置を取得する位置情報取得部と、前記被写体の輝度差が所定値より大きくなることが想定される特定位置Ｃを記憶する特定位置情報保持部を備え、
前記現在位置が前記特定位置Ｃに一致するときは前記映像処理部においてを前記ＷＤＲ処理を行い、前記現在位置が前記特定位置Ｃに一致しないときは前記映像処理部において前記コントラスト補正処理を行うことを特徴とする車載撮像装置。 In an in-vehicle imaging device that is mounted on a vehicle and images a subject,
An imaging unit for photographing a subject;
A video analysis unit for analyzing the luminance distribution of the captured image;
A video processing unit for correcting the luminance distribution of the captured image to be appropriate;
A traveling state detection unit for detecting a traveling state of the vehicle;
A video control unit that controls the imaging unit and the video processing unit;
The video processing unit extends a wide dynamic range process (hereinafter referred to as a WDR process) for combining one image from two images having different exposure conditions and a concentrated luminance distribution for one image. Contrast correction processing that corrects gradation is possible,
The video control unit causes the video processing unit to switch between the WDR processing and the contrast correction processing according to the running state detected by the running state detection unit ,
The travel state detection unit includes a position information acquisition unit that acquires a current position of the vehicle, and a specific position information holding unit that stores a specific position C where a luminance difference of the subject is assumed to be larger than a predetermined value. ,
When the current position matches the specific position C, the video processing unit performs the WDR process, and when the current position does not match the specific position C, the video processing unit performs the contrast correction process. An in-vehicle imaging device characterized by the above.
被写体を撮影する撮像部と、An imaging unit for photographing a subject;
撮影画像の輝度分布を解析する映像解析部と、A video analysis unit for analyzing the luminance distribution of the captured image;
該撮影画像の輝度分布が適正になるよう補正する映像処理部と、A video processing unit for correcting the luminance distribution of the captured image to be appropriate;
該映像処理部からの映像出力を用いて、特定の被写体の認識処理を行う画像認識部と、An image recognition unit that performs recognition processing of a specific subject using video output from the video processing unit;
前記車両の走行状態を検出する走行状態検出部と、A traveling state detection unit for detecting a traveling state of the vehicle;
前記撮像部と前記映像処理部を制御する映像制御部とを備え、A video control unit that controls the imaging unit and the video processing unit;
前記映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、The video processing unit extends a wide dynamic range process (hereinafter referred to as a WDR process) for combining one image from two images having different exposure conditions and a concentrated luminance distribution for one image. Contrast correction processing that corrects gradation is possible,
前記映像制御部は、前記走行状態検出部の検出した走行状態に応じて、前記映像処理部に対して前記ＷＤＲ処理と前記コントラスト補正処理とを切り替えて行わせ、The video control unit causes the video processing unit to switch between the WDR processing and the contrast correction processing according to the running state detected by the running state detection unit,
前記映像制御部は、前記映像処理部に対する前記ＷＤＲ処理と前記コントラスト補正処理の切り替え信号を前記画像認識部にも送り、The video control unit also sends a switching signal between the WDR processing and the contrast correction processing for the video processing unit to the image recognition unit,
該画像認識部は、前記映像制御部から送られた切替信号を参照して認識結果の確度を予測することを特徴とする車載撮像装置。The in-vehicle imaging device, wherein the image recognition unit predicts the accuracy of a recognition result with reference to a switching signal sent from the video control unit.
前記走行状態検出部として前記車両の走行速度を検出する車速センサ部を備え、A vehicle speed sensor for detecting the traveling speed of the vehicle as the running state detector;
該走行速度が閾値Ａを超えるときは前記映像処理部において前記コントラスト補正処理を行い、該走行速度が閾値Ａ以下のときは前記映像処理部において前記ＷＤＲ処理を行うことを特徴とする車載撮像装置。The in-vehicle imaging device characterized in that when the traveling speed exceeds a threshold A, the video processing unit performs the contrast correction processing, and when the traveling speed is equal to or less than the threshold A, the video processing unit performs the WDR processing. .
前記走行状態検出部として前記車両のギア位置を検出するシフトレバー検知部を備え、A shift lever detector for detecting a gear position of the vehicle as the running state detector;
該ギア位置が２速以上に設定されているときは前記映像処理部において前記コントラスト補正処理を行い、該ギア位置が２速以上でないときは前記映像処理部において前記ＷＤＲ処理を行うことを特徴とする車載撮像装置。The video processing unit performs the contrast correction process when the gear position is set to 2nd speed or higher, and the video processing unit performs the WDR process when the gear position is not 2nd speed or higher. In-vehicle imaging device.
前記撮影画像から被写体の動きを検出し前記車両に対する前記被写体の相対速度を算出する動体解析部を備え、A moving body analyzing unit that detects a movement of the subject from the captured image and calculates a relative speed of the subject with respect to the vehicle;
該被写体速度が閾値Ｂを超えるときは、前記車両の走行速度または前記ギア位置によらず、前記映像処理部において前記コントラスト補正処理を行うことを特徴とする車載撮像装置。When the subject speed exceeds a threshold value B, the contrast correction process is performed in the video processing unit regardless of the traveling speed of the vehicle or the gear position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012009043A JP5759907B2 (en) | 2012-01-19 | 2012-01-19 | In-vehicle imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012009043A JP5759907B2 (en) | 2012-01-19 | 2012-01-19 | In-vehicle imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013150153A JP2013150153A (en) | 2013-08-01 |
| JP5759907B2 true JP5759907B2 (en) | 2015-08-05 |
Family
ID=49047253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012009043A Expired - Fee Related JP5759907B2 (en) | 2012-01-19 | 2012-01-19 | In-vehicle imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5759907B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6289044B2 (en) * | 2013-11-15 | 2018-03-07 | オリンパス株式会社 | Observation device |
| JP6291274B2 (en) * | 2014-02-12 | 2018-03-14 | 株式会社メガチップス | Image detection processing apparatus, program, and integrated circuit |
| JP6246629B2 (en) * | 2014-03-14 | 2017-12-13 | 株式会社東芝 | Monitoring device |
| JP6149826B2 (en) | 2014-09-01 | 2017-06-21 | 株式会社Ｊｖｃケンウッド | Imaging apparatus and scene determination method |
| WO2016190372A1 (en) | 2015-05-28 | 2016-12-01 | 株式会社ジャパンディスプレイ | Display system, display device and image processing device |
| JP2019062479A (en) * | 2017-09-27 | 2019-04-18 | 京セラ株式会社 | Imaging apparatus and movable body |
| CN115115530A (en) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | Image deblurring method, device, terminal equipment and medium |
| CN115134537A (en) * | 2022-01-18 | 2022-09-30 | 长城汽车股份有限公司 | Image processing method and device and vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3974799B2 (en) * | 2002-03-07 | 2007-09-12 | オリンパス株式会社 | Digital camera |
| JP2010093679A (en) * | 2008-10-10 | 2010-04-22 | Fujifilm Corp | Imaging apparatus, and imaging control method |
| JP5295854B2 (en) * | 2009-04-28 | 2013-09-18 | 株式会社レグラス | Image processing apparatus and image processing program |
-
2012
- 2012-01-19 JP JP2012009043A patent/JP5759907B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013150153A (en) | 2013-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5759907B2 (en) | In-vehicle imaging device | |
| JP4248558B2 (en) | Road marking line detection device | |
| EP2471691B1 (en) | Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method | |
| JP4389999B2 (en) | Exposure control device and exposure control program | |
| US20090009604A1 (en) | Image processing system and method | |
| JP5921983B2 (en) | In-vehicle imaging device | |
| US9420185B2 (en) | Method and system for compensating for image blur by moving image sensor | |
| JP2018064201A (en) | Image processing device, image processing method, and image processing circuit | |
| US20190092239A1 (en) | Image-pickup apparatus, image-pickup display method, and image-pickup display program | |
| JP4644550B2 (en) | Camera system | |
| JP2009267923A (en) | Imaging system | |
| JP2008110715A (en) | Vehicular automatic lighting system | |
| JP6305430B2 (en) | Imaging setting changing device, imaging system, and imaging setting changing method | |
| JP2011250376A (en) | Vehicle periphery image display device | |
| KR20150079004A (en) | Dispay apparatus of vehicle and contolling method for the same | |
| CN107205123B (en) | Flash band determination device, control method thereof, storage medium, and image pickup apparatus | |
| JP2005073296A (en) | Exposure control apparatus for on-vehicle camera | |
| US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
| JP6266022B2 (en) | Image processing device, alarm device, and image processing method | |
| JP4814752B2 (en) | Display control device | |
| KR20120055824A (en) | Image acquiring method of vehicle camera system | |
| JP2005148309A (en) | Exposure controller for white line detection camera | |
| JP2011181019A (en) | Bird's-eye view image generation device | |
| JP5230362B2 (en) | Wide dynamic range imaging device | |
| CN114097216A (en) | Image processing apparatus and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140707 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20141027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150608 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5759907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |