JP5017921B2 - Image processing apparatus for vehicle - Google Patents
Image processing apparatus for vehicle Download PDFInfo
- Publication number
- JP5017921B2 JP5017921B2 JP2006132205A JP2006132205A JP5017921B2 JP 5017921 B2 JP5017921 B2 JP 5017921B2 JP 2006132205 A JP2006132205 A JP 2006132205A JP 2006132205 A JP2006132205 A JP 2006132205A JP 5017921 B2 JP5017921 B2 JP 5017921B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- shutter control
- white line
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、撮像された画像を処理して立体物検出及び白線認識する車両用画像処理装置に関し、特に、夜間も立体物検出及び白線認識が可能な車両用画像処理装置に関する。 The present invention relates to a vehicle image processing apparatus that processes a captured image to detect a three-dimensional object and recognize a white line, and particularly relates to a vehicle image processing apparatus that can detect a three-dimensional object and recognize a white line even at night.
カメラにより撮像された車両周囲の画像から走行車線、障害物等を検出して運転者の車両操作を支援する車両用画像処理装置が知られている（例えば、特許文献１参照）。特許文献１の車両用画像処理装置は、ステレオカメラの２つのカメラのうち、一方のカメラで得られた画像から白線を検出すると共に、双方のカメラで得られた画像を矩形領域毎に比較してその相関から立体物を検出する。
ところで、カメラによる撮像では照度や検出対象に応じて適切なシャッタ制御があることが知られており、例えば、白線を正確に認識するためのシャッタ制御と立体物を正確に検出するためのシャッタ制御とは異なっている。したがって、引用文献１記載の車両用画像処理装置のように、同一の画像を用いて白線と立体物の両方を検出することは困難である。 By the way, it is known that there is an appropriate shutter control depending on the illuminance and the detection target in the imaging by the camera. For example, the shutter control for accurately recognizing the white line and the shutter control for accurately detecting the three-dimensional object. Is different. Therefore, it is difficult to detect both the white line and the three-dimensional object using the same image as in the vehicle image processing device described in the cited document 1.
本発明は、上記課題に鑑み、ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus for a vehicle that can detect both a three-dimensional object and a white line with high accuracy by sharing a stereo camera.
上記課題に鑑み、本発明は、撮像した画像の輝度情報に基づいて平面物を認識する平面物認識用のシャッタ制御及び撮像した画像の視差情報に基づいて立体物を検出する立体物検出用のシャッタ制御、の双方を実行可能な第１の撮像手段（例えば、カメラ１７Ｌ）と、前記立体物検出用のシャッタ制御を行う第２の撮像手段（例えば、カメラ１７Ｒ）と、前記平面物認識用のシャッタ制御により、前記第１の撮像手段が撮像した画像を画像処理することで平面物を認識し、前記立体物検出用のシャッタ制御により、前記第１の撮像手段が撮像した画像及び前記第２の撮像手段が撮像した画像、の２つの画像に基づいて、立体物を検出する画像処理部と、を有することを特徴とする。
In view of the above problems, the present invention provides a three-dimensional object detection shutter control for recognizing a planar object based on luminance information of the captured image and a three-dimensional object detection that detects a three-dimensional object based on parallax information of the captured image. First imaging means (for example,
本発明によれば、第１の撮像手段が平面物認識用のシャッタ制御及び立体物検出用のシャッタ制御の双方が可能であるので、１つのステレオカメラで平面物と立体物を精度よく検出することができる。なお、平面物の典型的なものは走行車線を区分する白線であるが、路上のペイントであればどのような平面物であってもよい。また、第２の撮像手段はシャッタ制御が略一定なので画像が安定しており、画像を利用するさらに別のデバイス（表示装置等）で利用することができる。 According to the present invention, since the first imaging unit can perform both shutter control for recognizing a flat object and shutter control for detecting a three-dimensional object, a single stereo camera can detect a flat object and a three-dimensional object with high accuracy. be able to. A typical plane object is a white line that divides a traveling lane, but any plane object may be used as long as it is paint on the road. In addition, since the shutter control of the second image pickup means is substantially constant, the image is stable and can be used in another device (display device or the like) that uses the image.
また、本発明の一形態において、第１の撮像手段は、平面物認識用のシャッタ制御と立体物検出用のシャッタ制御とをフレーム毎に切り替えることを特徴とする。 In one embodiment of the present invention, the first imaging unit switches between shutter control for plane object recognition and shutter control for three-dimensional object detection for each frame.
本発明によれば、交互にシャッタ制御を切り替えるので、平面物認識又は立体物検出に偏らずいずれも好適に認識できる。 According to the present invention, since the shutter control is alternately switched, it is possible to preferably recognize both of them without being biased to plane object recognition or solid object detection.
また、本発明の一形態において、第２の撮像手段が撮像した画像を表示装置に出力する画像出力部を有する、ことを特徴とする。 One embodiment of the present invention includes an image output unit that outputs an image captured by the second imaging unit to a display device.
より具体的には、第１の撮像手段が平面物認識用のシャッタ制御により撮像した場合であっても、画像出力部は第２の撮像手段が立体物検出用のシャッタ制御により撮像した画像を表示装置に出力する。 More specifically, even when the first imaging unit captures images by shutter control for plane object recognition, the image output unit captures an image captured by the second imaging unit by shutter control for solid object detection. Output to the display device.
本発明によれば、第２の撮像手段により撮像された画像を、第１の撮像手段のシャッタ制御にかかわらず表示装置に表示することができ、１対のステレオカメラにより撮像された画像に基づき平面物と立体物の検出処理を行うだけでなく、表示装置に表示して利用することができる。 According to the present invention, the image captured by the second imaging unit can be displayed on the display device regardless of the shutter control of the first imaging unit, and based on the image captured by the pair of stereo cameras. In addition to performing detection processing of a planar object and a three-dimensional object, it can be displayed on a display device and used.
さらに、本発明の一形態において、第１の撮像手段が平面物認識用のシャッタ制御により撮像し、かつ、第２の撮像手段が立体物検出用のシャッタ制御により撮像した場合、画像出力部は第２の撮像手段が撮像した画像を表示装置に出力すると共に、画像処理部は平面物認識を行うことを特徴とする。 Furthermore, in one embodiment of the present invention, when the first imaging unit captures images by shutter control for plane object recognition and the second imaging unit captures images by shutter control for solid object detection, the image output unit The image picked up by the second image pickup means is output to the display device, and the image processing unit performs planar object recognition.
本発明によれば、第２の撮像手段が撮像した画像を表示装置に画像を表示しながら、第１の撮像手段が撮像した画像により平面物を認識することができる。したがって、この場合、立体物の検出は行わない。 According to the present invention, it is possible to recognize a planar object from the image captured by the first imaging unit while displaying the image captured by the second imaging unit on the display device. Therefore, in this case, the three-dimensional object is not detected.
また、本発明の一形態において、立体物検出用のシャッタ制御はシャッタ速度に下限及びゲイン値に上限を有し、平面物認識用のシャッタ制御は前記下限よりも小さい（遅い）シャッタ速度及び前記上限よりも大きいゲイン値が設定可能であることを特徴とする。 Also, in one aspect of the present invention, the three-dimensional object detection shutter control has a lower limit on the shutter speed and an upper limit on the gain value, and the planar object recognition shutter control has a shutter speed smaller (slower) than the lower limit and the A gain value larger than the upper limit can be set.
本発明によれば、立体物検出用の画像はシャッタ速度に下限及びゲイン値に上限を有するのでハレーションすることが防止でき、平面物認識用の画像はシャッタ速度やゲイン値の制約がないので白線等の輝度を高くして画像を撮像できる。 According to the present invention, the three-dimensional object detection image has a lower limit on the shutter speed and an upper limit on the gain value, so that it is possible to prevent halation, and the image for plane object recognition has no restriction on the shutter speed or the gain value. The image can be taken with a high brightness such as.
ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することができる。 It is possible to provide a vehicle image processing apparatus that can detect both a three-dimensional object and a white line with high accuracy by sharing a stereo camera.
以下、図面を参照して、本発明を実施するための最良の形態について説明する。図１（ａ）は本実施の形態の車両用画像処理装置のシステム構成図の一例である。車両用画像処理装置１は、画像取得部１０とステレオＥＣＵ２０を備える。ステレオＥＣＵ２０は、プログラムを実行するＣＰＵ（Central Processing Unit）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、設定定数やパラメータ、データ等を記憶するＮＶ−ＲＡＭ（ＮＯＮ Ｖｏｌａｔｉｌｅ ＲＡＭ）、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものであり、マイコンやコンピュータとも呼ばれる。
The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1A is an example of a system configuration diagram of the vehicle image processing apparatus according to the present embodiment. The vehicle image processing apparatus 1 includes an image acquisition unit 10 and a
画像取得部１０は、撮像手段として、撮像素子１１，１２やレンズ１５，１６といったステレオカメラを構成するカメラモジュール１７、カメラＣＰＵ１３、フレームを一時的に記憶するメモリ１８及び画像出力部１４等を有する。撮像素子１１，１２は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子により構成されている。カメラモジュール１７に車両前方から入射した光は撮像素子１１、１２により光電変換され、蓄積した電荷を電圧として読み出し増幅してＡ／Ｄ変換された後、所定の輝度階調（例えば、２５６階調）のデジタル画像に変換される。
The image acquisition unit 10 includes, as imaging means, a
カメラＣＰＵ１３は、ステレオＥＣＵ２０から送信されるカメラ制御値に基づいてカメラ側のフレームの露出を調節するカメラ制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、カメラモジュール１７の撮像したフレーム、撮像する際に適用したカメラ制御値、フレームナンバ等を画像信号としてステレオＥＣＵ２０に送信する。なお、撮像素子は２個に限らず、それ以上の数を有してもよい。
The
カメラモジュール１７は、右カメラ１７Ｒ及び左カメラ１７Ｌによりステレオカメラとして構成されると共に、一方のカメラ（本実施の形態では右カメラ１７Ｒ）は暗視用（ナイトビュー）のカメラとして併用される。ナイトビュー用のフレームは、ステレオＥＣＵ２０による画像処理なしにそのまま表示装置に表示することができるので、ナイトビュー装置が作動している間（以下、単にＮＶ装置作動時という）、画像出力部１４は右カメラ１７Ｌのフレームを例えばＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）へ出力すると共に、左右のカメラ１７Ｒ、１７Ｌに撮像されたフレームを画像入力部２１へ出力する。
The
ステレオＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ等を有する幾何変換処理部２２、画像処理ＬＳＩ等を有する画像認識処理部２４及び各処理部を監督するＳＶ−ＣＰＵ２３を有する。
The
画像取得部１０の画像出力部１４から出力された画像信号は、ステレオＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。
The image signal output from the image output unit 14 of the image acquisition unit 10 is sent to an
フレームを受信した画像入力部２１は、画像信号のフレームを幾何変換処理部２２に送出する。幾何変換処理部２２は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール１７の撮像したフレームから、撮像素子１１，１２やレンズ１５，１６等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look Up Table）に基づき入力画像を変換する。
The
画像認識処理部２４は、幾何変換処理部２２からの幾何変換された画像データに基づいて立体物検出処理や白線認識処理を行う。それらの処理や制御のための画像処理プログラムや画像信号はメモリ２６に記憶される。
The image
画像認識処理部２４が実行する立体物検出処理は、例えばステレオ視の技術によって撮像したフレームから立体物を検出する画像処理プログラムによる処理である。立体物検出処理は、例えば左右に配置された撮像素子１１，１２により撮像された一対のフレームの相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。
The three-dimensional object detection process executed by the image
具体的には、画像認識処理部２４は、撮像素子１１，１２により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子１１によるフレームと撮像素子１２によるフレームとを重ね合わせると、撮像対象物が左右横方向にずれる。そして、一方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、『Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）』という関係式が成立する。この（ｎ・ｄ）が視差である。
Specifically, the image
また、画像認識処理部２４が実行する白線認識処理は、撮像したフレームから路面上の
白線を検出する画像処理プログラムによる処理である。画像処理プログラムは撮像されたフレームの例えば輝度に基づき、所定の閾値以上の輝度を有する領域をフレーム底部から上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので、車両前方のフレームを水平方向に微分すると、白線の両端にピークが得られ、そのピークは白線の線内に、白線外から白線と白線から白線外とで正負逆に得られるため、白線部分が推定できる。このような処理を行う白線強調フィルタをフレームに施すことで白線部分を強調でき、白線が強調されたフレームから、白線の特徴である、輝度が高い、線状の形状である等の特徴のある領域を、マッチングなどの手法により白線を検出できる。
The white line recognition process executed by the image
また、画像認識処理部２４が実行するシャッタ制御は、適切なカメラ制御値（シャッタスピードＳや制御ゲインＫ）を算出処理・調節する。フレームの露出はシャッタスピードＳに応じて変化し、シャッタスピードＳを遅くすれば通る光が保持されるため暗い場所での撮像も可能になる。画像認識処理部２４は、撮像したフレームにおける目標明るさＤＲと撮像したフレームにおける実明るさＤＡから所定の関数Ｆに基づいて適切なカメラ制御値を算出する。例えば、シャッタスピードＳの今回値をＳＮ、シャッタスピードＳの前回値をＳＮ−１、制御ゲインをＫとした場合、所定関数Ｆ「ＳＮ＝ＳＮ−１＋Ｋ・（ＤＲ−ＤＡ）」に基づいて、カメラ制御値が算出される。
The shutter control executed by the image
ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵであり、メモリ２６等に格納されたプログラムを実行することで後述するシャッタ制御を実現する。なお、画像認識処理部２４が兼ねてもよい。ＳＶ−ＣＰＵ２３は、画像認識処理部２４による算出されたカメラ制御値を画像取得部１０内のカメラＣＰＵ１３に送信・指示する。
The SV-
車両用画像処理装置１を車両に搭載することによって、路上の立体物や白線等を画像から認識して車両制御及び運転者の車両操作を支援することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。
By mounting the vehicle image processing apparatus 1 on a vehicle, it is possible to recognize a three-dimensional object or a white line on the road from the image and assist the vehicle control and the driver's vehicle operation. For example, the SV-
続いて、シャッタ制御について説明する。ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるように、シャッタスピード、ゲイン値等のカメラ制御値を調節することによってカメラの露出を制御する。 Next, shutter control will be described. When a certain object is detected by image processing, the camera exposure is controlled by adjusting camera control values such as shutter speed and gain value so that the object has an optimal brightness.
例えば、日中であれば、所定のフレームに基準となるウィンドウを設定して、そのウィンドウ内の画素の輝度平均が所定値となるようにカメラ制御値を決定することができる。また、夜間の場合、十分な光量が得られないのでシャッタスピードを遅めにゲイン値を高めに設定することでナイトビューに適切なカメラ制御値とする必要がある。 For example, during the day, a reference window is set in a predetermined frame, and the camera control value can be determined so that the average luminance of the pixels in the window becomes a predetermined value. In addition, at night, a sufficient amount of light cannot be obtained. Therefore, it is necessary to set the gain value to a high value by slowing the shutter speed to obtain a camera control value suitable for night view.
ところで、車両は、立体物検出のための画像、白線認識のための画像、ナイトビュー用の画像と、目的によって多くの画像を利用するが、目的に応じてそれぞれカメラを車載することはコスト的にも車両スペースにも困難である。そこで、本実施の形態では、立体物検出のカメラの一方をナイトビューに、他方を白線認識に使用することで、立体物検出、白線認識及びナイトビュー用の画像を一対のステレオカメラにより実現する。 By the way, a vehicle uses an image for detecting a three-dimensional object, an image for white line recognition, an image for night view, and a number of images depending on the purpose. And vehicle space is difficult. Therefore, in the present embodiment, one of the three-dimensional object detection cameras is used for night view and the other is used for white line recognition, thereby realizing a three-dimensional object detection, white line recognition, and night view image with a pair of stereo cameras. .
図１（ｂ）はステレオカメラの共用システムの概略図を示す。なお、図１（ｂ）において図１（ａ）と同一部分には同一の符号を付した。カメラ１７Ｒは常にナイトビュー用のカメラ制御値（以下、単にＮＶ用カメラ制御値という）により撮像し、カメラ１７ＬはＮＶ用カメラ制御値と白線を認識するためのカメラ制御値（以下、単に白線用カメラ制御値という）を交互に切り替えて撮像する。したがって、カメラ１７ＬがＮＶ用カメラ制御値で撮像した場合、ステレオＥＣＵ２０は一対のフレームを使用して立体物検出することができ、カメラ１７Ｌが白線用カメラ制御値で撮像した場合、ステレオＥＣＵ２０は白線認識することができる。
FIG. 1B is a schematic diagram of a stereo camera sharing system. In FIG. 1B, the same parts as those in FIG. The
また、画像取得部１０が、白線用のカメラ制御値を適用した白線用認識用のフレームとナイトビュー用のカメラ制御値を適正に適用した立体物検出用のフレームを単純に切り替えることができたとしても、画像取得部１０とステレオＥＣＵ２０間で撮像したフレームに関する整合がとれていなければ、ステレオＥＣＵ２０側が、画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。
In addition, the image acquisition unit 10 can simply switch between the white line recognition frame to which the white line camera control value is applied and the solid object detection frame to which the night view camera control value is appropriately applied. However, if there is no matching regarding the frames captured between the image acquisition unit 10 and the
そこで、本実施の形態の車両用画像処理装置１は、立体物検出と白線認識のそれぞれの処理に適した画像を得るために、以下のように動作する。 Therefore, the vehicle image processing apparatus 1 according to the present embodiment operates as follows in order to obtain images suitable for the respective processing of the three-dimensional object detection and the white line recognition.
図２は、画像取得部１０とステレオＥＣＵ２０間で行われる画像処理シーケンスの一部を切り出した図である。
FIG. 2 is a diagram in which a part of an image processing sequence performed between the image acquisition unit 10 and the
ステレオＥＣＵ２０のＳＶ−ＣＰＵ２３は、画像取得部１０内のカメラＣＰＵ１３とシリアル通信を行う。ＳＶ−ＣＰＵ２３は、シリアル通信により、画像認識処理部２４のシャッタ制御で算出されたカメラ制御値をカメラ１７Ｒと１７Ｌにそれぞれ送信する。ＳＶ−ＣＰＵ２３は、カメラ１７Ｒには常にＮＶ用カメラ制御値を送信し、カメラ１７ＬにはＮＶ用カメラ制御値と白線用カメラ制御値を必ず交互に送信する。
The SV-
したがって、カメラ１７Ｌには、所定間隔Ｔ（例えば５０ｍｓ）の送信周期で、白線用カメラ制御値とＮＶ用カメラ制御値が送信される。なお、白線用カメラ制御値とＮＶ用カメラ制御値の送信順序は、通信カウンタ（図２の（ｉ）〜（ｖii））が奇数の場合には白線用カメラ制御値が送信され、偶数の場合にはＮＶ用カメラ制御値が送信される。
Accordingly, the camera control value for white line and the camera control value for NV are transmitted to the
ＮＶ用カメラ制御値によりカメラ１７Ｒ、１７Ｌが制御されるサイクルでは、１対のフレームを使用して画像認識処理部２４により立体物検出処理が行われる。また、白線用カメラ制御値によりカメラ１７Ｌが制御されるサイクルでは、カメラ１７Ｌにより撮像されたフレームを使用して画像認識処理部２４により白線認識処理が行われる。
In the cycle in which the
ＳＶ−ＣＰＵ２３は、カメラ制御値を送信する場合、その送信タイミングにおいて画像認識処理部２４が最後に算出したカメラ制御値を送信する。すなわち、画像認識処理部２４によるカメラ制御値の算出処理が高負荷等の理由により、カメラ制御値の送信タイミングに間に合わない場合、前回算出されたカメラ制御値が送信される。
When transmitting the camera control value, the SV-
一方、画像取得部１０は、所定フレーム数を最小単位に白線認識及びＮＶ用カメラ制御を行う。図２では、ＳＶ−ＣＰＵ２３からの白線用カメラ制御値及びＮＶ用カメラ制御値は１フレーム毎に適用されるものとした。なお、白線認識とＮＶ用カメラ制御の適用フレーム数は同じでなくてもよい。
On the other hand, the image acquisition unit 10 performs white line recognition and NV camera control with a predetermined number of frames as a minimum unit. In FIG. 2, the white line camera control value and the NV camera control value from the SV-
ここで、カメラの１フレームは２つのフィールドという要素から成り立っており、いわゆるインタレース処理に施される。すなわち、「奇数（ＯＤＤ）フィールド」は走査線の奇数本目に走査が行われ、「偶数（ＥＶＥＮ）フィールド」は走査線の偶数本目に走査が行われる。画像取得部１０は、撮像した１フレーム毎にフレームナンバＮ（Ｎ＝１，２，３，・・・）を順番に付与する。さらに、フィールドもさらに区別できるように「１ｏ，１ｅ」，「２ｏ，２ｅ」，・・・と付与する。 Here, one frame of the camera is composed of two fields, and is subjected to so-called interlace processing. That is, in the “odd (ODD) field”, scanning is performed on the odd lines of the scanning lines, and in the “even (EVEN) field”, scanning is performed on the even lines of the scanning line. The image acquisition unit 10 assigns a frame number N (N = 1, 2, 3,...) In order for each captured frame. Further, the fields are given as “1o, 1e”, “2o, 2e”,.
図３はこのようなシーケンス処理によりカメラ１７Ｌとカメラ１７Ｒが制御される制御手順を示すフローチャート図である。図３（ａ）はカメラ１７Ｌのカメラ制御を、図３（ｂ）はカメラ１７Ｒのカメラ制御値をそれぞれ示す。
FIG. 3 is a flowchart showing a control procedure in which the
カメラＣＰＵ１３は、フレームナンバに応じてカメラ１７Ｌのカメラ制御をＮＶ用とするか白線用とするかを判定する（Ｓ１）。フレームナンバが偶数の場合（Ｓ１のＹｅｓ）、カメラＣＰＵ１３はＮＶ用カメラ制御値によりカメラ１７Ｌを制御する（Ｓ２）。
The
図２では、フレームナンバ「０ｏ、２ｏ、４ｏ、６ｏ、…」が相当し、カメラ１７ＬのこれらのフレームはＮＶ用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “0o, 2o, 4o, 6o,...” Correspond to these frames of the
ＮＶ用カメラ制御値は、シャッタスピードに下限及びゲイン値に上限を設けており、これにより先行車や街灯などの光源が撮像されてもハレーションを防ぐことができる。なお、ＮＶ装置作動時は対向車を眩惑しないように近赤外領域の波長の光を照明し立体物からの反射光を撮像するが、近赤外の光を効率よく入射するためカメラ１７Ｒには可視光カットフィルタが装着される。また、一対のフレームに視差以外の差異があると立体物検出できないので、カメラ１７Ｌにも可視光カットフィルタが装着される。したがって、少なくともＮＶ装置作動時は、近赤外線が照射されると共に左右のカメラに可視光カットフィルタが装着される。
The camera control value for NV has a lower limit on the shutter speed and an upper limit on the gain value, so that halation can be prevented even if a light source such as a preceding vehicle or a streetlight is imaged. When the NV device is in operation, the reflected light from the three-dimensional object is imaged by illuminating light in the near-infrared region so as not to dazzle the oncoming vehicle, but the near-infrared light is efficiently incident on the
そしてフレームナンバが奇数の場合は（Ｓ３のＹｅｓ）、カメラＣＰＵ１３は白線用カメラ制御値によりカメラ１７Ｌを制御する（Ｓ４）。
If the frame number is an odd number (Yes in S3), the
図２では、フレームナンバ「１ｏ１ｅ、３ｏ３ｅ、５ｏ５ｅ、…」が相当し、カメラ１７Ｌのこれらのフレームは白線用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “1o1e, 3o3e, 5o5e,...” Correspond to these frames of the
白線用カメラ制御値は、白線が明るく（輝度が大きく）検出されることが好ましいので、シャッタスピードに下限及びゲイン値に上限を設けない。白線は光源を有さないのでこのような制限を設けなくてもハレーションを起こすことがなく、また、前照灯（近赤外を若干含む）及び近赤外の光が白線で反射するので、可視光カットフィルタが装着されていてもカメラ１７Ｌは輝度の十分な白線を撮像できる。
Since the white line camera control value is preferably detected so that the white line is bright (the luminance is large), there is no lower limit for the shutter speed and no upper limit for the gain value. Since the white line does not have a light source, it does not cause halation even if such a restriction is not provided, and the headlight (including some near infrared rays) and near infrared light are reflected by the white line. Even if the visible light cut filter is attached, the
なお、上述のように、画像取得部１０がステレオＥＣＵ２０からカメラ制御値を受信していないサイクルでは、その時点で最新のカメラ制御値を適用してカメラ１７Ｌ、１７Ｒを制御する。
Note that, as described above, in the cycle in which the image acquisition unit 10 does not receive the camera control value from the
また、ナイトビュー用に、ＨＵＤに継続して画像を投影する右側のカメラ１７Ｒは、常にＮＶ用のカメラ制御値により制御されるので、フレームナンバに関わらすＮＶ用カメラ制御値により制御される（Ｓ５）。
Further, the
図２では、フレームナンバ「０ｏ〜６ｅ…」が相当し、カメラ１７ＲのこれらのフレームはＮＶ用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “0o to 6e...” Correspond, and these frames of the
図２に示すように、カメラ１７Ｌは白線用カメラ制御値とＮＶ用カメラ制御値とを交互に切り替えてシャッタ制御され、カメラ１７ＲはＮＶ用カメラ制御値でのみシャッタ制御されている。
As shown in FIG. 2, the
なお、画像取得部１０は、すでに受信している最後の白線用カメラ制御値又はＮＶ用カメラ制御値をそれぞれの最小フレーム単位毎に適用して撮像するので、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。 The image acquisition unit 10 applies the last white line camera control value or NV camera control value that has already been received for each minimum frame unit. The timing may not be synchronized.
図４は、ステレオＥＣＵ２０がフレームナンバに応じて白線認識又は立体物検出する画像処理手順を示すフローチャート図である。
FIG. 4 is a flowchart illustrating an image processing procedure in which the
撮像されたフレームは、当該フレームのカメラ制御値及びフレームナンバと共にステレオＥＣＵ２０に送信される。
The captured frame is transmitted to the
ステレオＥＣＵ２０はフレームナンバに応じて立体物検出の画像処理を行うか、白線認識の画像処理を行うかを判定する（Ｓ１０）。
The
画像取得部１０からフレームを受信したステレオＥＣＵ２０は、フレームに付与されたフレームナンバに応じて白線用フレームと立体物フレームを区別する。ステレオＥＣＵ２０は、処理すべきフレームのフレームナンバが偶数の場合（Ｓ１０のＹｅｓ）、立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う（Ｓ２０）。
The
一方、処理すべきフレームのフレームナンバが奇数の場合（Ｓ３０のＹｅｓ）、ステレオＥＣＵ２０は、白線用カメラ制御により撮像した白線用フレームであるとして白線認識処理を行う（Ｓ４０）。
On the other hand, when the frame number of the frame to be processed is an odd number (Yes in S30), the
処理すべきフレームのフレームナンバが奇数の場合であっても、カメラ１７Ｒが撮像したフレームは画像出力部１４が常にＨＵＤに出力している。なお、ステレオＥＣＵ２０が白線認識処理を行う場合、このフレーム（フレームナンバが奇数のフレーム）に基づく立体物検出は行わない。この場合、カメラ１７Ｒが撮像してステレオＥＣＵ２０に入力されたフレームは使用されないか又は破棄される。
Even when the frame number of the frame to be processed is an odd number, the image output unit 14 always outputs the frame captured by the
そして、白線認識処理の後に白線用カメラ制御値算出等の白線認識後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物検出後処理が行われる。 Then, after white line recognition processing, white line recognition post-processing such as white line camera control value calculation is performed, and after three-dimensional object detection processing, three-dimensional object detection post-processing such as calculation of three-dimensional object camera control value is performed.
なお、処理負荷増大等の理由により、白線認識処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線認識処理は１６．７ｍｓ以内、立体物検出処理は８３．３ｍｓ以内に設定しておく。 If the timing of the white line recognition process or the three-dimensional object detection process increases due to an increase in processing load or the like, the timing is shifted and restarted. For example, the white line recognition process is set within 16.7 ms and the three-dimensional object detection process is set within 83.3 ms.
また、ステレオＥＣＵ２０内の画像認識処理部２４の起動タイミングは、白線認識はＥＶＥＮ起動、立体物検出はＯＤＤ起動であるため、初期起動時にフレームナンバとＯＤＤ／ＥＶＥＮ起動のタイミングを合わせるために空回しをする必要がある。この正規のタイミングと逆に立体物の画像をＥＶＥＮ起動で受けたり、白線の画像をＯＤＤ起動で受けた場合、その回の処理を廃棄して、ＳＶ−ＣＰＵ２３は、白線用カメラ制御値と立体物用カメラ制御値をカメラＥＣＵ１０へ送信するタイミングに合わせる。
The activation timing of the image
以上のように、ステレオＥＣＵ２０は、付与されたフレームナンバに応じて白線認識処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線用と立体物用とで間違えて取り込むことを防止することができる。 そして、フレームの区別を行ったステレオＥＣＵ２０は、白線認識処理用と区別がなされたフレームを基に白線認識処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用と区別がなされたフレームを基に立体物検出処理と立体物用カメラ制御値の算出処理を行っている。
As described above, the
そして、このように算出処理された白線用カメラ制御値と立体物用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合にはＮＶ用カメラ制御値を送信する」といった送信順序の決め事をカメラＣＰＵ１３とＳＶ−ＣＰＵ２３との間で設定し、ステレオＥＣＵ２０はかかる決め事に従いカメラＥＣＵ１０へ送信する。したがって、カメラＥＣＵ１０は、その送信順序でカメラ制御値を受信してカメラ１７Ｌのカメラ制御値に適用することができる。
Then, regarding the white line camera control value and the three-dimensional object camera control value thus calculated, “when the communication counter is an odd number, the white line camera control value is transmitted, and when the communication counter is an even number, the NV camera control value is transmitted. The decision of the transmission order such as “send value” is set between the
各カメラ制御を実行したカメラＥＣＵ１０は、撮像したフレームを、当該フレームのカメラ制御値とフレームナンバとを付与した上でステレオＥＣＵ２０に送信する。このよう処理のサイクルが、カメラＥＣＵ１０とステレオＥＣＵ２０間で繰り返されることとなり、立体物検出と白線認識のそれぞれの処理に適した画像を得ることができるようになる。
Camera ECU10 which performed each camera control transmits the imaged flame | frame to stereo ECU20, providing the camera control value and frame number of the said frame. Such a process cycle is repeated between the camera ECU 10 and the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。例えば、本発明の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added. For example, the scanning method of the present invention is not particularly limited, and may be an interlace method or a non-interlace method.
１ 車両用画像処理装置
１０ 画像取得部
１１，１２ 撮像素子
１３ カメラＣＰＵ
１４ 画像出力部
１５、１６ レンズ
１７ カメラモジュール
１８、２５、２６ メモリ
２０ ステレオＥＣＵ
２１ 画像入力部
２２ 幾何変換処理部
２３ ＳＶ−ＣＰＵ
２４ 画像認識処理部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus for vehicles 10
14
21
24 Image recognition processor
Claims (6)
前記立体物検出用のシャッタ制御を行う第２の撮像手段と、
前記平面物認識用のシャッタ制御により、前記第１の撮像手段が撮像した画像を画像処理することで平面物を認識し、
前記立体物検出用のシャッタ制御により、前記第１の撮像手段が撮像した画像及び前記第２の撮像手段が撮像した画像、の２つの画像に基づいて、立体物を検出する画像処理部と、
を有することを特徴とする車両用画像処理装置。 It is possible to perform both a shutter control for recognizing a flat object based on luminance information of the captured image and a shutter control for detecting a solid object based on parallax information of the captured image. First imaging means;
Second imaging means for performing shutter control for detecting the three-dimensional object;
Recognizing a planar object by performing image processing on the image captured by the first imaging means by the shutter control for recognizing the planar object,
An image processing unit that detects a three-dimensional object based on two images of an image captured by the first imaging unit and an image captured by the second imaging unit by the shutter control for detecting the three-dimensional object;
A vehicular image processing apparatus characterized by comprising:
ことを特徴とする請求項１記載の車両用画像処理装置。 The first imaging means switches between the shutter control for recognizing the planar object and the shutter control for detecting the three-dimensional object for each frame.
The vehicular image processing apparatus according to claim 1.
ことを特徴とする請求項１又は２記載の車両用画像処理装置。 An image output unit that outputs an image captured by the second imaging unit to a display device;
The image processing apparatus for a vehicle according to claim 1 or 2, wherein
ことを特徴とする請求項３記載の車両用画像処理装置。 Even when the first imaging unit captures an image by shutter control for planar object recognition, the image output unit captures the image captured by the second imaging unit by the shutter control for solid object detection. Output to the display device,
The vehicular image processing apparatus according to claim 3.
ことを特徴とする請求項３記載の車両用画像処理装置。 When the first imaging unit captures an image by the shutter control for recognizing the planar object and the second imaging unit captures an image by the shutter control for solid object detection, the image output unit outputs the second image The image picked up by the image pickup means is output to the display device, and the image processing unit performs plane object recognition.
The vehicular image processing apparatus according to claim 3.
ことを特徴とする請求項１又は２記載の車両用画像処理装置。 The shutter control for detecting a three-dimensional object has a lower limit and an upper limit for a gain value, and the shutter control for recognizing a flat object can set a shutter speed smaller than the lower limit and a gain value larger than the upper limit. is there,
The image processing apparatus for a vehicle according to claim 1 or 2, wherein
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006132205A JP5017921B2 (en) | 2006-05-11 | 2006-05-11 | Image processing apparatus for vehicle |
| PCT/JP2006/309965 WO2006123754A1 (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
| US11/660,660 US20080094471A1 (en) | 2005-05-20 | 2006-05-18 | Image Processor for Vehicles |
| CN2006800008971A CN101032169B (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
| EP09009938A EP2109061B1 (en) | 2005-05-20 | 2006-05-18 | Image processing apparatus for vehicle |
| EP06746632.6A EP1883242B1 (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
| CN2010106234160A CN102074007B (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006132205A JP5017921B2 (en) | 2006-05-11 | 2006-05-11 | Image processing apparatus for vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007306272A JP2007306272A (en) | 2007-11-22 |
| JP5017921B2 true JP5017921B2 (en) | 2012-09-05 |
Family
ID=38839841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006132205A Expired - Fee Related JP5017921B2 (en) | 2005-05-20 | 2006-05-11 | Image processing apparatus for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5017921B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6311238B2 (en) * | 2013-08-23 | 2018-04-18 | 株式会社リコー | Imaging apparatus, imaging system, and vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3092105B1 (en) * | 1999-07-30 | 2000-09-25 | 富士重工業株式会社 | Outside monitoring device with fail-safe function |
| JP4265756B2 (en) * | 2003-07-02 | 2009-05-20 | 富士重工業株式会社 | In-vehicle camera mounting structure |
| DE60329335D1 (en) * | 2003-07-11 | 2009-10-29 | Hitachi Ltd | IMAGE PROCESSING CAMERA SYSTEM AND IMAGE PROCESSING CAMERA CONTROL SYSTEM |
-
2006
- 2006-05-11 JP JP2006132205A patent/JP5017921B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007306272A (en) | 2007-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113271400B (en) | Imaging device and electronic equipment | |
| JP4258539B2 (en) | Multiple angle of view camera | |
| EP2109061B1 (en) | Image processing apparatus for vehicle | |
| KR101367637B1 (en) | Monitoring apparatus | |
| CN108496056B (en) | Image pickup apparatus | |
| JP6316976B2 (en) | In-vehicle image recognition device | |
| JP5629521B2 (en) | Obstacle detection system and method, obstacle detection device | |
| US10848660B2 (en) | Imaging apparatus, imaging module, and control method of imaging apparatus | |
| JP6723079B2 (en) | Object distance detection device | |
| US20140055572A1 (en) | Image processing apparatus for a vehicle | |
| WO2013140873A1 (en) | In-vehicle image processing device and method | |
| US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
| WO2022019026A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
| JP4798945B2 (en) | Imaging device | |
| JP4797441B2 (en) | Image processing apparatus for vehicle | |
| WO2020039837A1 (en) | Image processing device | |
| JP5017921B2 (en) | Image processing apparatus for vehicle | |
| WO2015098107A1 (en) | Image processing device, warning apparatus, and image processing method | |
| JP2005167831A (en) | Imaging apparatus | |
| JP2018160747A (en) | Display control device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |