JP4905496B2 - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP4905496B2
JP4905496B2 JP2009098945A JP2009098945A JP4905496B2 JP 4905496 B2 JP4905496 B2 JP 4905496B2 JP 2009098945 A JP2009098945 A JP 2009098945A JP 2009098945 A JP2009098945 A JP 2009098945A JP 4905496 B2 JP4905496 B2 JP 4905496B2
Authority
JP
Japan
Prior art keywords
frame interval
image
object detection
lateral position
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009098945A
Other languages
Japanese (ja)
Other versions
JP2010249641A (en
Inventor
尚秀 内田
剛 名波
征和 西嶋
宏晃 後藤
達也 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2009098945A priority Critical patent/JP4905496B2/en
Priority to EP20120165186 priority patent/EP2482250B1/en
Priority to CN201080016738.7A priority patent/CN102396002B/en
Priority to PCT/IB2010/000827 priority patent/WO2010119329A2/en
Priority to US13/259,662 priority patent/US8854458B2/en
Priority to EP10720956.1A priority patent/EP2419881B1/en
Publication of JP2010249641A publication Critical patent/JP2010249641A/en
Application granted granted Critical
Publication of JP4905496B2 publication Critical patent/JP4905496B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、物体を検出する物体検出装置に関する。   The present invention relates to an object detection apparatus that detects an object.

従来、物体検出を行うものとして、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置を備え、当該動画像処理装置が、動画像に含まれるフレームを複数の領域に分割して領域ごとに異なる条件でオプティカルフローを算出する演算部と、移動体の状態に応じて分割の態様及び条件の少なくとも一方を適応的に変化させるパラメータ決定部とを備えるものが知られている。この物体検出装置では、近距離の物体検出時と遠距離の物体検出時とでオプティカルフロー演算におけるフレーム間隔を変更している。   2. Description of the Related Art Conventionally, as an object detection, a moving image processing device that detects an optical flow from a moving image captured by an image sensor mounted on a moving body is provided, and the moving image processing device detects a frame included in the moving image. An arithmetic unit that divides into a plurality of regions and calculates an optical flow under different conditions for each region, and a parameter determination unit that adaptively changes at least one of the division mode and conditions according to the state of the moving body It has been known. In this object detection apparatus, the frame interval in the optical flow calculation is changed between the detection of an object at a short distance and the detection of an object at a long distance.

特開２００８−２７６３０８号公報JP 2008-276308 A

ここで、上述の物体検出装置にあっては、例えば、物体の横位置が中心から大きく離れている場合や自車両が大きくカーブした場合など、状況によっては想定外にオプティカルフローが大きくなってしまい正確に演算することができない場合があった。このような場合は物体の検出精度が低下してしまうという問題があった。   Here, in the above-described object detection device, the optical flow becomes unexpectedly large depending on the situation, for example, when the lateral position of the object is far away from the center or when the host vehicle is greatly curved. There was a case where it was impossible to calculate accurately. In such a case, there is a problem that the detection accuracy of the object is lowered.

本発明は、このような問題を解決するためになされたものであり、状況によらず物体の検出精度を向上させることのできる物体検出装置を提供することを目的とする。   The present invention has been made to solve such a problem, and an object thereof is to provide an object detection apparatus capable of improving the detection accuracy of an object regardless of the situation.

本発明に係る物体検出装置は、移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの画像間における画像移動量に基づいて物体を検出する物体検出装置において、物体の画像中における横位置に基づいてフレーム間隔を変更することを特徴とする。   An object detection apparatus according to the present invention is an object detection apparatus that acquires an image by an imaging unit mounted on a moving body and detects an object based on an image movement amount between two images having a predetermined frame interval. The frame interval is changed based on the horizontal position in the image.

例えば、物体が画像中における周縁部付近に位置している場合は（すなわち、自車両の撮像手段の撮像中心線と物体との横位置偏差が大きい場合）、画像中の物体の横位置変化量が大きくなり、一方、画像中における中央部付近に位置している場合は横位置変化量が小さくなる。従って、本発明に係る物体検出装置によれば、物体の画像中における横位置に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、物体の位置によらず精度よく物体を検出することができる。以上によって、状況によらず物体の検出精度を向上させることができる。   For example, when the object is located near the periphery in the image (that is, when the lateral position deviation between the imaging center line of the imaging means of the host vehicle and the object is large), the lateral position change amount of the object in the image On the other hand, when it is located near the center in the image, the lateral position change amount becomes small. Therefore, according to the object detection device of the present invention, it is possible to calculate the optical flow with high accuracy by changing the frame interval based on the lateral position in the image of the object, regardless of the position of the object. An object can be detected with high accuracy. As described above, the object detection accuracy can be improved regardless of the situation.

本発明に係る物体検出装置は、移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの画像間における画像移動量に基づいて物体を検出する物体検出装置において、移動体の旋回状態に基づいてフレーム間隔を変更することを特徴とする。   An object detection apparatus according to the present invention is an object detection apparatus that acquires an image by an imaging unit mounted on a moving body and detects an object based on an image movement amount between two images having a predetermined frame interval. The frame interval is changed based on the turning state of the body.

例えば、自車両が旋回している場合は（すなわち推定Ｒが小さい場合）、画像中における横位置変化量が大きくなり、一方、直進している場合は横位置変化量が小さくなる。従って、本発明に係る物体検出装置によれば、旋回状態に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、運転状態によらず精度よく物体を検出することができる。以上によって、状況によらず物体の検出精度を向上させることができる。   For example, when the host vehicle is turning (that is, when the estimated R is small), the lateral position change amount in the image is large, while when the vehicle is traveling straight, the lateral position change amount is small. Therefore, according to the object detection device of the present invention, it is possible to calculate the optical flow with high accuracy by changing the frame interval based on the turning state, and detect the object with high accuracy regardless of the driving state. be able to. As described above, the object detection accuracy can be improved regardless of the situation.

本発明に係る物体検出装置において、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することが好ましい。画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することができるため、物体の横方向の移動量に応じた適切なフレーム間隔を設定することによって、オプティカルフローを高精度に演算することが可能となり、状況によらず物体の検出精度を向上させることができる。   In the object detection apparatus according to the present invention, it is preferable to change the frame interval based on the amount of movement of the object in the image in the horizontal direction. Since the frame interval can be changed based on the amount of horizontal movement of the object in the image, the optical flow can be calculated with high accuracy by setting an appropriate frame interval according to the amount of horizontal movement of the object. It is possible to improve the object detection accuracy regardless of the situation.

具体的には、本発明に係る物体検出において、物体の画像中における横位置が大きいほどフレーム間隔を短くすることが好ましく、移動体の旋回半径が小さいほどフレーム間隔を短くすることが好ましい。   Specifically, in the object detection according to the present invention, it is preferable to shorten the frame interval as the lateral position in the image of the object is large, and it is preferable to shorten the frame interval as the turning radius of the moving body is small.

本発明によれば、状況によらず物体の検出精度を向上させることができる。   According to the present invention, the detection accuracy of an object can be improved regardless of the situation.

本発明の実施形態に係る物体検出装置のブロック構成図である。It is a block block diagram of the object detection apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る物体検出装置における制御処理を示すフローチャートである。It is a flowchart which shows the control processing in the object detection apparatus which concerns on embodiment of this invention. カメラで撮像した画像の一例を示す図である。It is a figure which shows an example of the image imaged with the camera. 最適なフレーム間隔を演算するための線図の一例である。It is an example of the diagram for calculating the optimal frame space | interval. 最適なフレーム間隔を演算するための線図の一例である。It is an example of the diagram for calculating the optimal frame space | interval. 画像のフレーム間隔を模式的に示した図である。It is the figure which showed the frame space | interval of an image typically.

以下、図面を参照して本発明に係る物体検出装置の好適な実施形態について詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, a preferred embodiment of an object detection device according to the present invention will be described in detail with reference to the drawings.

まず、本発明の実施形態に係る物体検出装置１の構成を説明する。図１は、本発明の実施形態に係る物体検出装置１のブロック構成を示した図である。物体検出装置１は、撮像した画像を用いてオプティカルフローを演算し、その演算結果に基づいて物体を検出する機能を有する装置である。図１に示すように、物体検出装置１は、ＥＣＵ（Electronic Control Unit）２、ミリ波レーダ３、カメラ（撮像手段）４、を備えて構成されている。   First, the configuration of the object detection device 1 according to the embodiment of the present invention will be described. FIG. 1 is a diagram showing a block configuration of an object detection apparatus 1 according to an embodiment of the present invention. The object detection device 1 is a device having a function of calculating an optical flow using a captured image and detecting an object based on the calculation result. As shown in FIG. 1, the object detection apparatus 1 includes an ECU (Electronic Control Unit) 2, a millimeter wave radar 3, and a camera (imaging means) 4.

ミリ波レーダ３は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波レーダ３は、自車両（移動体）の前側の中央の所定の高さ位置（検出対象の障害物を確実に検出可能な高さ位置）に取り付けられる。ミリ波レーダ３では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。ミリ波を送信する際の上下方向の角度は、固定であり、車両停止時には路面に対して平行となる角度が設定されている。ミリ波レーダ３では、反射ミリ波を受信できた各反射点についてのミリ波情報（左右方向の走査方位角、送信時刻、受信時刻、反射強度など）からなるミリ波信号をＥＣＵ２に送信する。このミリ波レーダ３は、例えば、車両前方が図３に示すような状況である場合、検出点Ｐ１を検出することによって物体（図においては他車両Ｍ１である）を検出する。   The millimeter wave radar 3 is a radar sensor that detects an object using millimeter waves. The millimeter wave radar 3 is attached to a predetermined height position in the center of the front side of the host vehicle (moving body) (a height position at which an obstacle to be detected can be reliably detected). The millimeter wave radar 3 transmits the millimeter wave forward while scanning the millimeter wave in the left-right direction, and receives the reflected millimeter wave. The angle in the vertical direction when transmitting the millimeter wave is fixed, and an angle that is parallel to the road surface when the vehicle is stopped is set. The millimeter wave radar 3 transmits to the ECU 2 a millimeter wave signal composed of millimeter wave information (scanning azimuth angle in the left and right direction, transmission time, reception time, reflection intensity, etc.) for each reflection point that has received the reflected millimeter wave. For example, when the front of the vehicle is in a situation as shown in FIG. 3, the millimeter wave radar 3 detects an object (in the figure, the other vehicle M1) by detecting the detection point P1.

カメラ４は、自車両の前方を撮像する単眼カメラである。カメラ４は、自車両の前側の中央に搭載される。カメラ４は、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ２に送信する。この撮像画像は、一定時間（例えば、１／３０秒）毎のフレームの画像である。カメラ４は、左右方向に撮像範囲が広く、車線数が少ない場合には走行車線及び対向車線の外側の歩道や路肩までを十分に含む範囲まで撮像可能であり、例えば、図３のような画像を取得することができる。   The camera 4 is a monocular camera that images the front of the host vehicle. The camera 4 is mounted in the center on the front side of the host vehicle. The camera 4 images the front of the host vehicle and transmits the captured image information to the ECU 2 as an image signal. This captured image is an image of a frame every certain time (for example, 1/30 second). The camera 4 has a wide imaging range in the left-right direction, and when there are a small number of lanes, the camera 4 can capture a range that sufficiently includes the side lanes and shoulders outside the driving lane and the opposite lane. Can be obtained.

ＥＣＵ２は、運転支援装置１全体の制御を行う電子制御ユニットであり、例えばＣＰＵを主体として構成され、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などを備えている。ＥＣＵ２は、画像処理領域抽出部１１、相対速度演算部１２、距離演算部１３、横位置演算部１４、推定Ｒ演算部１６、フレーム間隔演算部１７、オプティカルフロー演算部１８、物体検出部１９を備えて構成されている。   The ECU 2 is an electronic control unit that controls the entire driving support device 1. The ECU 2 is mainly configured by a CPU, for example, and includes a ROM, a RAM, an input signal circuit, an output signal circuit, a power supply circuit, and the like. The ECU 2 includes an image processing area extraction unit 11, a relative speed calculation unit 12, a distance calculation unit 13, a lateral position calculation unit 14, an estimated R calculation unit 16, a frame interval calculation unit 17, an optical flow calculation unit 18, and an object detection unit 19. It is prepared for.

画像処理領域抽出部１１は、ミリ波レーダ３から出力されたミリ波信号に基づいて車両前方の物体を検出し、その物体の位置情報に基づいて当該物体がカメラ４から出力された画像中のどの領域に存在するかを特定し、特定した領域を画像処理領域Ｆ１として抽出する機能を有している。具体的には、画像処理領域抽出部１１は、現時刻でのミリ波情報を利用し、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と検出点Ｐ１の方向とのなす角度を求め、その角度から検出点Ｐ１の位置を算出することによって物体を検出する。そして、画像中で検出点Ｐ１を特定するとともに、その周辺の領域を画像処理領域Ｆ１として抽出する。   The image processing region extraction unit 11 detects an object in front of the vehicle based on the millimeter wave signal output from the millimeter wave radar 3, and the object in the image output from the camera 4 based on the position information of the object. It has a function of specifying in which area it exists and extracting the specified area as the image processing area F1. Specifically, the image processing region extraction unit 11 uses the millimeter wave information at the current time, detects the direction of the millimeter wave that is reflected most strongly among the reflected millimeter waves, and determines the own vehicle from that direction. An object is detected by obtaining an angle formed by the direction of travel and the direction of the detection point P1, and calculating the position of the detection point P1 from the angle. Then, the detection point P1 is specified in the image, and the surrounding area is extracted as the image processing area F1.

距離演算部１３は、ミリ波情報に基づいて自車両と物体との相対距離を演算する機能を有している。具体的には、距離演算部１３は、現時刻でのミリ波情報を利用し、ミリ波の送信から受信までの時間に基づいて前方の物体までの相対距離を算出する。   The distance calculation unit 13 has a function of calculating the relative distance between the host vehicle and the object based on the millimeter wave information. Specifically, the distance calculation unit 13 uses the millimeter wave information at the current time, and calculates the relative distance to the object ahead based on the time from transmission to reception of the millimeter wave.

相対速度演算部１２は、ミリ波情報に基づいて自車両と物体との相対速度を演算する機能を有している。具体的には、相対速度演算部１２は、距離演算部１３によって演算された現時刻における距離と所定の前時刻における距離の変化に基づいて前方の物体との相対速度を算出する。   The relative speed calculation unit 12 has a function of calculating the relative speed between the host vehicle and the object based on the millimeter wave information. Specifically, the relative speed calculation unit 12 calculates a relative speed with respect to a front object based on a change in the distance at the current time calculated by the distance calculation unit 13 and the distance at a predetermined previous time.

横位置演算部１４は、カメラ４から出力された撮像画像に基づいて物体の横位置を演算する機能を有している。ここで、横位置とはカメラ４の撮像中心線に対する物体の横位置偏差である。横位置演算部１４は、撮像画像を解析することによって物体の横位置を演算し、例えば、画像データのヒストグラムにおけるピーク部分を物体の幅方向の端部と認定し、認定した両端部の位置から物体の幅方向の中心軸の位置を割り出すことによって、物体の横位置を導き出すことができる。なお、横位置演算部１４は、ミリ波情報を用いて横位置を演算してもよい。   The lateral position calculation unit 14 has a function of calculating the lateral position of the object based on the captured image output from the camera 4. Here, the lateral position is a lateral position deviation of the object with respect to the imaging center line of the camera 4. The horizontal position calculation unit 14 calculates the horizontal position of the object by analyzing the captured image. For example, the peak portion in the histogram of the image data is recognized as the end portion in the width direction of the object, and from the positions of the recognized both ends. By determining the position of the central axis in the width direction of the object, the lateral position of the object can be derived. Note that the lateral position calculation unit 14 may calculate the lateral position using millimeter wave information.

推定Ｒ演算部１６は、自車両の旋回半径（推定Ｒ）を演算する機能を有している。この推定Ｒは、図示されないヨーレイトセンサや操舵角センサの出力情報に基づいて演算することができる。推定Ｒは自車両がまっすぐに走っているときほど大きくなり、急速にカーブしているときほど小さくなる。   The estimated R calculation unit 16 has a function of calculating the turning radius (estimated R) of the host vehicle. This estimated R can be calculated based on output information from a yaw rate sensor or steering angle sensor (not shown). The estimated R increases as the host vehicle runs straight and decreases as the vehicle rapidly curves.

フレーム間隔演算部１７は、相対速度演算部１２、距離演算部１３、横位置演算部１４、推定Ｒ演算部１６の演算結果に基づいて、オプティカルフローを演算するのに最適なフレーム間隔を演算する機能を有している。ここで、フレーム間隔とは、図６に示すように、オプティカルフローを演算するのに用いられる二つの異なる画像同士の間の間隔であり、一つめの画像は現時刻（ｔ）における画像であり、二つめの画像は前時刻（ｔ−ｘ）における画像である。従来においては一フレーム前の前時刻（ｔ−１）における画像が用いられていたが、本実施形態においては条件に従ってオプティカルフローを演算するのに最適なフレーム間隔が演算される。   The frame interval calculation unit 17 calculates an optimum frame interval for calculating the optical flow based on the calculation results of the relative speed calculation unit 12, the distance calculation unit 13, the lateral position calculation unit 14, and the estimated R calculation unit 16. It has a function. Here, the frame interval is an interval between two different images used to calculate the optical flow, as shown in FIG. 6, and the first image is an image at the current time (t). The second image is an image at the previous time (tx). Conventionally, an image at the previous time (t−1) one frame before is used, but in this embodiment, an optimal frame interval is calculated for calculating the optical flow according to the conditions.

このフレーム間隔演算部１７は、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更する機能を有している。また、フレーム間隔演算部１７は、物体の画像中における横位置に基づいてフレーム間隔を変更する機能を有し、自車両の旋回状態に基づいてフレーム間隔を変更する機能を有している。更に、フレーム間隔演算部１７は、物体との相対距離に基づいてフレーム間隔を変更する機能を有し、物体との相対速度に基づいてフレーム間隔を変更する機能を有している。具体的には、フレーム間隔演算部１７は、物体の横位置が大きいほどフレーム間隔を短く設定し横位置が小さいほどフレーム間隔を長く設定できるように、図４（ａ）に示すような曲線に従って最適なフレーム間隔を設定することができる。また、フレーム間隔演算部１７は、自車両の推定Ｒが大きいほど（すなわち進路がまっすぐであるほど）フレーム間隔を長めに設定し推定Ｒが小さいほど（すなわち急カーブであるほど）フレーム間隔を短めに設定できるように、図４（ｂ）に示すような曲線に従って最適なフレーム間隔を設定することができる。また、フレーム間隔演算部１７は、相対速度が大きいほどフレーム間隔を短く設定し相対速度が小さいほどフレーム間隔を長く設定できるように、図５（ａ）に示すような曲線に従って最適なフレーム間隔を設定することができる。またフレーム間隔演算部１７は、相対距離が大きいほどフレーム間隔を長く設定し、相対距離が小さいほどフレーム間隔を短めに設定することができるように、図５（ｂ）に示すような曲線に従って最適なフレーム間隔を設定することができる。フレーム間隔演算部１７は、相対距離、相対速度、横位置、及び推定Ｒからそれぞれ求められる最適なフレーム間隔を総合的に考慮してフレーム間隔を設定することができる。   The frame interval calculation unit 17 has a function of changing the frame interval based on the amount of lateral movement of the object in the image. The frame interval calculation unit 17 has a function of changing the frame interval based on the lateral position in the image of the object, and has a function of changing the frame interval based on the turning state of the host vehicle. Further, the frame interval calculation unit 17 has a function of changing the frame interval based on the relative distance to the object, and has a function of changing the frame interval based on the relative speed with respect to the object. Specifically, the frame interval calculation unit 17 follows a curve as shown in FIG. 4A so that the frame interval can be set shorter as the lateral position of the object is larger and the frame interval can be set longer as the lateral position is smaller. An optimal frame interval can be set. In addition, the frame interval calculation unit 17 sets the frame interval longer as the estimated R of the host vehicle is larger (that is, the route is straighter), and shortens the frame interval as the estimated R is smaller (that is, the steeper curve is greater). The optimum frame interval can be set according to a curve as shown in FIG. Further, the frame interval calculation unit 17 sets an optimal frame interval according to a curve as shown in FIG. 5A so that the frame interval can be set shorter as the relative speed is higher and the frame interval can be set longer as the relative speed is lower. Can be set. Further, the frame interval calculation unit 17 is optimal in accordance with a curve as shown in FIG. 5B so that the frame interval can be set longer as the relative distance is larger and the frame interval can be set shorter as the relative distance is smaller. A simple frame interval can be set. The frame interval calculation unit 17 can set the frame interval by comprehensively considering the optimum frame interval obtained from the relative distance, relative speed, lateral position, and estimated R, respectively.

オプティカルフロー演算部１８は、フレーム間隔演算部１７の演算結果にしたがって、二つの画像を用いてオプティカルフローを演算する機能を有している。ここで、オプティカルフローとは、画像内のある点や図形が次の瞬間にどのような方向へ、どの程度の距離移動するかを示すベクトルである。   The optical flow calculation unit 18 has a function of calculating an optical flow using two images according to the calculation result of the frame interval calculation unit 17. Here, the optical flow is a vector indicating in what direction and how far a certain point or figure in the image moves at the next moment.

物体検出部１９は、オプティカルフロー演算部１８で演算されたオプティカルフローの大きさに基づいて物体を検出する機能を有している。例えば、物体検出部１９は、物体のオプティカルフローの大きさが所定値より大きい場合には、物体を障害物として検出する機能を有している。また、物体検出部１９は、当該検出結果とミリ波レーダ３による物体の検出結果とを比較することによって装置の検出結果の信頼性を判定する機能を有している。更に、物体検出部１９は、検出結果を例えば警報装置、車両制御装置、乗員保護装置等の運転支援装置に出力して警告などの運転支援を行わせる機能を備えている。   The object detection unit 19 has a function of detecting an object based on the magnitude of the optical flow calculated by the optical flow calculation unit 18. For example, the object detection unit 19 has a function of detecting an object as an obstacle when the size of the optical flow of the object is larger than a predetermined value. The object detection unit 19 has a function of determining the reliability of the detection result of the device by comparing the detection result with the detection result of the object by the millimeter wave radar 3. Further, the object detection unit 19 has a function of outputting a detection result to a driving support device such as an alarm device, a vehicle control device, an occupant protection device, etc., and performing driving support such as a warning.

次に、本実施形態に係る物体検出装置１の動作について図２を用いて説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。なお、以下では、説明理解の容易性を考慮し、自車両が走行しながら物体検知する場合において、検出する物体を図３に示す他車両Ｍ１とした場合を説明する。図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングでＥＣＵ２内において繰り返し実行される。   Next, the operation of the object detection apparatus 1 according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing the operation of the object detection apparatus 1 according to this embodiment. In the following, in consideration of ease of understanding, a case where the object to be detected is the other vehicle M1 shown in FIG. 3 when the object is detected while the host vehicle is traveling will be described. The control process shown in FIG. 2 is repeatedly executed in the ECU 2 at a predetermined timing after the ignition is turned on, for example.

まず、画像処理領域抽出部１１は、図２に示すように画像処理領域を抽出する（ステップＳ１０）。具体的に画像処理領域抽出部１１は、ミリ波レーダ３から出力されたミリ波信号に基づいて他車両Ｍ１を検出するとともに、その他車両Ｍ１が画像中のどの領域に存在するかを特定すると共に、特定した領域を画像処理領域Ｆ１として抽出する。   First, the image processing area extraction unit 11 extracts an image processing area as shown in FIG. 2 (step S10). Specifically, the image processing region extraction unit 11 detects the other vehicle M1 based on the millimeter wave signal output from the millimeter wave radar 3, and specifies in which region in the image the other vehicle M1 exists. The identified area is extracted as the image processing area F1.

次に、距離演算部１３は、自車両と他車両Ｍ１との相対距離を演算する（ステップＳ１２）。相対速度演算部１２は、Ｓ１２で演算した相対距離に基づいて自車両と他車両Ｍ１との相対速度を演算する（ステップＳ１４）。また、横位置演算部１４は、カメラ４から出力された撮像画像に基づいて他車両Ｍ１の横位置を演算する（ステップＳ１６）。更に、推定Ｒ演算部１６は、ヨーレイトセンサや操舵角センサからの出力情報に基づいて自車両の推定Ｒを演算する（ステップＳ１８）。   Next, the distance calculation unit 13 calculates the relative distance between the host vehicle and the other vehicle M1 (step S12). The relative speed calculation unit 12 calculates the relative speed between the host vehicle and the other vehicle M1 based on the relative distance calculated in S12 (step S14). Further, the lateral position calculation unit 14 calculates the lateral position of the other vehicle M1 based on the captured image output from the camera 4 (step S16). Further, the estimated R calculation unit 16 calculates an estimated R of the host vehicle based on output information from the yaw rate sensor and the steering angle sensor (step S18).

次に、フレーム間隔演算部１７は、Ｓ１２で演算した相対距離、Ｓ１４で演算した相対速度、Ｓ１６で演算した横位置、及びＳ１８で演算した推定Ｒに基づいて最適なフレーム間隔を演算する（ステップＳ２０）。具体的には、フレーム間隔演算部１７は、図４及び図５に示す各曲線と相対距離、相対速度、横位置、及び推定Ｒとをそれぞれ照らし合わすことによって各要素におけるフレーム間隔を求めるとともにそれらを総合的に考慮することで最適なフレーム間隔を演算する。その結果、フレーム間隔を短くした方がオプティカルフロー算出精度を高めることができる場合は、例えば図６におけるフレーム間隔Ｄ１を選択し、フレーム間隔を長くした方がオプティカルフロー算出精度を高めることができる場合は、例えば図６におけるフレーム間隔Ｄ２を選択する。   Next, the frame interval calculation unit 17 calculates an optimum frame interval based on the relative distance calculated in S12, the relative speed calculated in S14, the lateral position calculated in S16, and the estimated R calculated in S18 (step S1). S20). Specifically, the frame interval calculation unit 17 obtains the frame interval in each element by comparing each curve shown in FIGS. 4 and 5 with the relative distance, relative speed, lateral position, and estimated R, respectively. The optimal frame interval is calculated by comprehensively considering. As a result, when the optical flow calculation accuracy can be increased by reducing the frame interval, for example, the optical interval calculation accuracy can be increased by selecting the frame interval D1 in FIG. 6 and increasing the frame interval. For example, the frame interval D2 in FIG. 6 is selected.

次に、オプティカルフロー演算部１８は、Ｓ２０で演算した最適なフレーム間隔に基づいて二つの画像を用いてオプティカルフローを演算する（ステップＳ２２）。そして、物体検出部１９は、Ｓ２２の演算結果に基づいて他車両Ｍ１を検出する（ステップＳ２４）。Ｓ２４の処理が終了すると図２に示す制御処理は終了し、再びＳ１０から処理を開始する。   Next, the optical flow calculation unit 18 calculates an optical flow using two images based on the optimum frame interval calculated in S20 (step S22). And the object detection part 19 detects the other vehicle M1 based on the calculation result of S22 (step S24). When the process of S24 ends, the control process shown in FIG. 2 ends, and the process starts again from S10.

以上によって、本実施形態に係る物体検出装置１では、物体の画像中における横位置に基づいてフレーム間隔を変更している。例えば、物体が画像中における周縁部付近に位置している場合は（すなわち、自車両のカメラ４の撮像中心線と物体との横位置偏差が大きい場合）、画像中の物体の横位置変化量が大きくなり、一方、画像中における中央部付近に位置している場合は横位置変化量が小さくなる。従って、物体の画像中における横位置に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、物体の位置によらず精度よく物体を検出することができる。   As described above, in the object detection device 1 according to the present embodiment, the frame interval is changed based on the lateral position in the image of the object. For example, when the object is located in the vicinity of the peripheral edge in the image (that is, when the lateral position deviation between the imaging center line of the camera 4 of the host vehicle and the object is large), the lateral position change amount of the object in the image On the other hand, when it is located near the center in the image, the lateral position change amount becomes small. Therefore, by changing the frame interval based on the horizontal position in the image of the object, the optical flow can be calculated with high accuracy, and the object can be detected with high accuracy regardless of the position of the object.

また、本実施形態に係る物体検出装置１では、自車両の旋回状態に基づいてフレーム間隔を変更することができる。例えば、自車両が旋回している場合は（すなわち推定Ｒが小さい場合）、画像中における横位置変化量が大きくなり、一方、直進している場合は横位置変化量が小さくなる。従って、旋回状態に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、運転状態によらず精度よく物体を検出することができる。   In the object detection device 1 according to the present embodiment, the frame interval can be changed based on the turning state of the host vehicle. For example, when the host vehicle is turning (that is, when the estimated R is small), the lateral position change amount in the image is large, while when the vehicle is traveling straight, the lateral position change amount is small. Therefore, by changing the frame interval based on the turning state, the optical flow can be calculated with high accuracy, and the object can be detected with high accuracy regardless of the driving state.

また、本実施形態に係る物体検出装置１では、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することができるため、物体の横方向の移動量に応じた適切なフレーム間隔を設定することによって、オプティカルフローを高精度に演算することが可能となり、状況によらず物体の検出精度を向上させることができる。   Further, in the object detection device 1 according to the present embodiment, the frame interval can be changed based on the amount of movement of the object in the image in the horizontal direction, and therefore an appropriate frame interval according to the amount of movement of the object in the horizontal direction. By setting, it becomes possible to calculate the optical flow with high accuracy and improve the detection accuracy of the object regardless of the situation.

なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。   The above-described embodiment shows an example of the object detection apparatus according to the present invention. The object detection device according to the present invention is not limited to the object detection device according to this embodiment, and the object detection device according to the embodiment may be modified or otherwise changed without changing the gist described in each claim. It may be applied to the above.

例えば、上記実施形態では、相対速度、相対距離、横位置、推定Ｒの全てを演算し、その結果に基づいてフレーム間隔を演算したが、少なくとも横位置あるいは推定Ｒの一方を考慮して演算すればよい。   For example, in the above embodiment, all of the relative speed, the relative distance, the lateral position, and the estimated R are calculated, and the frame interval is calculated based on the result. However, the calculation is performed in consideration of at least one of the lateral position and the estimated R. That's fine.

１…物体検出装置、４…カメラ、Ｍ１…物体、Ｄ１，Ｄ２…フレーム間隔。   DESCRIPTION OF SYMBOLS 1 ... Object detection apparatus, 4 ... Camera, M1 ... Object, D1, D2 ... Frame interval.

Claims (6)

移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの前記画像間における画像移動量に基づいて物体を検出する物体検出装置において、
前記移動体が直進走行する際に、前記画像に基づいて前記物体の横位置を演算し、前記物体の前記画像中における横位置に基づいて前記フレーム間隔を変更することを特徴とする物体検出装置。 In an object detection apparatus that acquires an image by an imaging unit mounted on a moving body and detects an object based on an image movement amount between two images having a predetermined frame interval,
When the moving body travels straight, the lateral position of the object is calculated based on the image, and the frame interval is changed based on the lateral position of the object in the image. . 移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの前記画像間における画像移動量に基づいて物体を検出する物体検出装置において、
前記移動体の旋回状態に基づいて前記フレーム間隔を変更することを特徴とする請求項１記載の物体検出装置。 In an object detection apparatus that acquires an image by an imaging unit mounted on a moving body and detects an object based on an image movement amount between two images having a predetermined frame interval,
The object detection apparatus according to claim 1, wherein the frame interval is changed based on a turning state of the moving body. 前記画像中における前記物体の横方向の移動量に基づいて前記フレーム間隔を変更することを特徴とする請求項１または２記載の物体検出装置。   The object detection apparatus according to claim 1, wherein the frame interval is changed based on a lateral movement amount of the object in the image. 前記物体の前記画像中における前記横位置が大きいほど前記フレーム間隔を短くすることを特徴とする請求項１記載の物体検出装置。   The object detection apparatus according to claim 1, wherein the frame interval is shortened as the lateral position of the object in the image increases. 前記移動体の旋回半径が小さいほど前記フレーム間隔を短くすることを特徴とする請求項２記載の物体検出装置。   The object detection apparatus according to claim 2, wherein the frame interval is shortened as the turning radius of the moving body decreases. 一定時間毎の前記フレーム間隔を変更することを特徴とする請求項１〜５のいずれか一項記載の物体検出装置。  The object detection device according to claim 1, wherein the frame interval is changed every predetermined time.
JP2009098945A 2009-04-15 2009-04-15 Object detection device Active JP4905496B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009098945A JP4905496B2 (en) 2009-04-15 2009-04-15 Object detection device
EP20120165186 EP2482250B1 (en) 2009-04-15 2010-04-14 Object detection device
CN201080016738.7A CN102396002B (en) 2009-04-15 2010-04-14 Object detection device
PCT/IB2010/000827 WO2010119329A2 (en) 2009-04-15 2010-04-14 Object detection device
US13/259,662 US8854458B2 (en) 2009-04-15 2010-04-14 Object detection device
EP10720956.1A EP2419881B1 (en) 2009-04-15 2010-04-14 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009098945A JP4905496B2 (en) 2009-04-15 2009-04-15 Object detection device

Publications (2)

Publication Number Publication Date
JP2010249641A JP2010249641A (en) 2010-11-04
JP4905496B2 true JP4905496B2 (en) 2012-03-28

Family

ID=43312146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009098945A Active JP4905496B2 (en) 2009-04-15 2009-04-15 Object detection device

Country Status (1)

Country Link
JP (1) JP4905496B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713368B2 (en) * 2016-07-29 2020-06-24 エヌ・ティ・ティ・コムウェア株式会社 Information processing device, display device, information processing method, and program
DE102017212175A1 (en) * 2017-07-17 2019-01-17 Robert Bosch Gmbh Method and device for determining an optical flow from an image sequence taken by a camera of a vehicle
JP6828719B2 (en) 2018-06-27 2021-02-10 トヨタ自動車株式会社 In-vehicle device and control method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4319928B2 (en) * 2004-03-09 2009-08-26 株式会社デンソー Vehicle state detection system and vehicle state detection method
JP3846494B2 (en) * 2004-07-13 2006-11-15 日産自動車株式会社 Moving obstacle detection device

Also Published As

Publication number Publication date
JP2010249641A (en) 2010-11-04

Similar Documents

Publication Publication Date Title
JP4396400B2 (en) Obstacle recognition device
JP6369390B2 (en) Lane junction determination device
US9150223B2 (en) Collision mitigation apparatus
US8838372B2 (en) Collision probability calculation apparatus for vehicle
US9223311B2 (en) Vehicle driving support control apparatus
WO2018056212A1 (en) Object detection device and object detection method
JP6022983B2 (en) Driving assistance device
US11069241B2 (en) Driving support device and driving support method
JP5910046B2 (en) Obstacle detection device
JP4883246B2 (en) Object detection apparatus and object detection method
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
JP6212880B2 (en) Target recognition device
US11014566B2 (en) Object detection apparatus
US10665107B2 (en) Moving object control apparatus and method of controlling moving object
JP6855776B2 (en) Object detection device and object detection method
US10787170B2 (en) Vehicle control method and apparatus
US20120019655A1 (en) Object detection device
JP2008276689A (en) Obstacle-recognition device for vehicle
JP2010039634A (en) Image processor
JP6561704B2 (en) Driving support device and driving support method
US10839232B2 (en) Vehicle control method and apparatus
JP6354659B2 (en) Driving support device
JP6504078B2 (en) Collision prediction device
JP2008037361A (en) Obstacle recognition device
JP2018024359A (en) Travel control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4905496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3