JP2014154898A - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP2014154898A JP2014154898A JP2013019990A JP2013019990A JP2014154898A JP 2014154898 A JP2014154898 A JP 2014154898A JP 2013019990 A JP2013019990 A JP 2013019990A JP 2013019990 A JP2013019990 A JP 2013019990A JP 2014154898 A JP2014154898 A JP 2014154898A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- target object
- image
- vehicle
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、物体検知装置に関する。 The present invention relates to an object detection device.
特許文献1には、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の3つのカメラでそれぞれ対象(白線)をトラッキングすることで、検出対象物体の状態を捕捉する技術が開示されている。 Patent Document 1 discloses a technique for capturing the state of a detection target object by tracking a target (white line) with three cameras for short distance, medium distance, and long distance that can be driven in the horizontal direction of the vehicle. Is disclosed.
しかしながら、上記従来技術にあっては、それぞれのカメラがバラバラに動いているため、連続した白線ではない車両や歩行者等の検出対象物体の状態を的確に捕捉できないという問題があった。
本発明の目的は、検出対象物体の状態をより的確に捕捉できる物体検知装置を提供することにある。
However, in the above prior art, each camera is moving apart, and thus there is a problem that the state of a detection target object such as a vehicle or a pedestrian that is not a continuous white line cannot be accurately captured.
The objective of this invention is providing the object detection apparatus which can capture | acquire the state of a detection target object more exactly.
本発明では、広角カメラの画像に基づく検出対象物体との相対位置と、水平方向に駆動可能、かつ、ズーム可能な駆動カメラの駆動速度と、少なくとも車速を含む車両状態とに基づいて駆動カメラが検出対象物体を捕捉するまでの対象の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラの捕捉位置を特定する。 In the present invention, the drive camera is based on the relative position with the detection target object based on the image of the wide-angle camera, the drive speed of the drive camera that can be driven in the horizontal direction and that can be zoomed, and the vehicle state that includes at least the vehicle speed. The estimated movement amount of the target until the detection target object is captured is calculated, and the capture position of the drive camera is specified based on the relative position and the estimated movement amount.
よって、広角カメラで捉えた検出対象物体に対し、画像中の位置から検出対象物体の相対位置を算出した上で、実際に駆動カメラを向けるまでの検出対象物体の移動量を勘案して駆動カメラの捕捉位置を算出するため、連続した白線ではない車両や歩行者等の検出対象物体の状態をより的確に捕捉できる。 Therefore, after calculating the relative position of the detection target object from the position in the image with respect to the detection target object captured by the wide-angle camera, the driving camera in consideration of the amount of movement of the detection target object until the driving camera is actually directed Therefore, the state of the detection target object such as a vehicle or a pedestrian that is not a continuous white line can be captured more accurately.
〔実施例1〕
まず、構成を説明する。
図1は、実施例1の物体検知装置100の概略構成図である。
物体検知装置100は、車両に設置された広角カメラ2と、物体検知ECU3と、車両に設置された駆動カメラ4と、車両センサ5とを備える。
広角カメラ2は、例えばCCD等の撮像素子を用いたカメラである。レンズは、駆動カメラ4よりも視野角が広ければ良く、例えば前方180度を撮像可能な魚眼レンズや、全周囲を撮像可能な全方位カメラ用のレンズを用いても良い。広角カメラ2の取り付け位置に制限はないが、実施例1では、車両のフロントバンパー部付近に、車両前方向きで、20度下方向きに設置した魚眼レンズでの場合を例に説明する。広角カメラ2のレンズ歪み等の内部パラメータ、および車両に対する取り付け位置を示す外部パラメータは、事前に算出済みである。広角カメラ2で撮像された画像は物体検知ECU3に送信される。
物体検知ECU3は、広角カメラ2の撮像画像と車両センサ5の出力値から、駆動カメラ4の捕捉位置を算出する電子制御ユニットであり、車両に搭載される他のECUと兼用しても良い。物体検知ECU3は、一般的なECUと同様にCPU,ROM,RAM等で構成され、ROMには後述する各種処理部(領域算出部31、物***置算出部32、移動量算出部33、捕捉位置特定部34、駆動制御部35)を実現するプログラムが格納されている。
[Example 1]
First, the configuration will be described.
FIG. 1 is a schematic configuration diagram of an object detection apparatus 100 according to the first embodiment.
The object detection device 100 includes a wide-
The wide-
The object detection ECU 3 is an electronic control unit that calculates the capture position of the
駆動カメラ4は、撮像素子に例えばCCDを用い、可変ズーム機能と、少なくとも車両水平方向に回転駆動可能な駆動機能とを備えたカメラである。こうしたカメラとしては、一般に防犯カメラで用いられているPTZカメラ(パン・チルト・ズームが駆動可能なカメラ)が良く知られており、実施例1では、PTZカメラを例に説明する。駆動カメラ4は、水平方向の回転中心が広角カメラ2の光学中心の略垂直線上に来るように配置されている。なお、一般のPTZカメラはカメラ本体を回転駆動させる機構を備えるが、撮像素子の前方にミラーを設置し、ミラーを駆動することで撮像方向を変化させる手法を取っても良い。駆動カメラの車両に対する取り付け位置を示す外部パラメータは事前に算出済みであり、広角カメラ2との位置関係は既知であるものとする。駆動カメラ4の設置位置は、広角カメラ2と撮像範囲が重なっていれば、どこに設置しても良いが、実施例1では、車両のダッシュボード上部に、車両前方向きに設置された場合を例に説明する。
車両センサ5は、車輪速センサを備え、車輪速センサの測定値から車速(車両の前後方向速度)を算出可能である。さらに、GPS、ステアリング角度を検出するステアリングセンサ、車両の前後方向加速度、横方向加速度を検出する加速度センサなど、各種車載センサを備えても良い。車両センサ5で計測・算出された信号(少なくとも車速を含む)は、物体検知ECU3に送信される。
The
The
次に、物体検知ECU3の各処理ブロックについて説明する。
領域算出部31は、広角カメラ2で撮像された画像中から、検出対象物体(検出対象とする物体であって、以下、単に対象物体と記載する。)の画像中での占有領域を算出する。算出方法は、一般に広く知られるカメラ画像による物体検出手法を用いれば良く、どの手法で検出するかは、本発明の権利範囲を規定するものではない。ここでは、対象物体が歩行者である場合を例に、領域算出の具体的な方法を説明する。
対象物体が歩行者である場合には、近年はHOG(Histograms of Oriented Gradients)という特徴量で検出するのが一般的であるが、歩行者か否かを識別する識別器は、SVM(Support Vector Machine)を用いるのが一般的であるが、AdaBoost,Random Forestなど他の手法を用いても良い。あらかじめ、歩行者とラベル付けされた画像群を用いて、HOG特徴量の学習を行い、実際の画像が歩行者か否かを判断する。全画面をSliding Window方式で順々に探索することで、歩行者を検知することができる。実際には、歩行者の位置によって画像中の大きさが異なるため、異なる画像の大きさで、それぞれSliding Window方式で探索を行う。こうすることで、歩行者を見つけることができる。
他の物体検出手法としては、オプティカルフローを用いた手法がある。広角カメラ2の画像を1フレーム前に取得された画像と比較し、各画像点がどこに移動したか、というオプティカルフローを算出する。次に、車両運動によって自然と発生するオプティカルフローと異なる方向に向いたオプティカルフローを抽出し、クラスタリングし、同一クラスターが包含される矩形領域を、対象物体の占有領域として算出する。この手法を用いると、移動物体を検出することができる。オプティカルフローを用いて移動物体を検知する方法は、非常に活発に研究されており、どの手法を用いても良い。
領域算出部31により歩行者等の対象物体が検知された場合には、検知された対象物体の占有領域情報を物***置算出部32に送信する。
Next, each processing block of the
The
If the target object is a pedestrian, in recent years it is common to detect it using a feature quantity called HOG (Histograms of Oriented Gradients). Machine) is generally used, but other methods such as AdaBoost and Random Forest may be used. The HOG feature quantity is learned in advance using an image group labeled as a pedestrian to determine whether or not the actual image is a pedestrian. Pedestrians can be detected by sequentially searching the entire screen using the sliding window method. Actually, since the size in the image differs depending on the position of the pedestrian, the search is performed by the sliding window method with different image sizes. In this way, pedestrians can be found.
As another object detection method, there is a method using an optical flow. The image of the wide-
When a target object such as a pedestrian is detected by the
物***置算出部32は、領域算出部31で算出された、対象物体の占有領域情報から、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。
広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の3次元空間上の方向が一意に定まる。従って、距離さえ求まれば、3次元空間上の相対的な位置が一意に定まる。
距離の算出方法としては、例を2つ挙げる。
The object
Since the external parameters and internal parameters of the wide-
There are two examples of the distance calculation method.
1.画像領域の下端を利用
車両と対象物体が同一平面上にあると仮定する。実施例1では、広角カメラ2として、魚眼レンズのカメラを車両前方に20度下向きに設置した場合を想定しているため、撮像画像イメージは図2のようになる。画像の座標系X,Yは図2のように設定する。広角カメラ2のパラメータは既知であるため、路面上の任意の点A(x,y)と車両からの距離の関係は一意に定まる。距離が一定のラインを画像上に投影すると、レンズの歪みがあるため、図2に示すように、画像中心から離れると歪みが生じる。このため厳密には、各座標点と距離の関係は、X座標Y座標を両方用いなければ算出できない。しかし、X,Y座標と距離の関係を全て算出しておくことは手間がかかるため、実用上は、X座標と距離の関係で近似すればよい。本発明で想定している遠方対象物体は、実施例1のカメラ配置では、X方向に関して画像中央付近に存在するため、X座標のみでの近似で十分な精度が得られる。
こうして、路面上の点と車両からの距離の関係が算出可能であるため、対象物体が路面上に存在すると仮定することで、対象領域の下端位置X座標を用いることで、車両との概算距離を算出できる。
ただし、例えば歩行者認識の場合には、図3に示すように、歩行者の下端と占有画像領域下端は一致せず、たいていの場合はオフセットXpが存在する。そこで距離算出を行う際に、占有画像下端位置のX座標からオフセットXp分をマイナスした値を用いることで、より精度良く距離を算出できる。車両認識やオプティカルフローによる認識の場合にも、同様に一定量のオフセットを想定することで、距離精度向上が望める。
1. Use the lower end of the image area Assume that the vehicle and the target object are on the same plane. In the first embodiment, since it is assumed that a fisheye lens camera is installed 20 degrees downward in front of the vehicle as the wide-
In this way, since the relationship between the point on the road surface and the distance from the vehicle can be calculated, by assuming that the target object exists on the road surface, the approximate distance from the vehicle can be obtained by using the lower end position X coordinate of the target region. Can be calculated.
However, for example, in the case of pedestrian recognition, as shown in FIG. 3, the lower end of the pedestrian and the lower end of the occupied image area do not coincide with each other, and in most cases there is an offset Xp. Accordingly, when calculating the distance, the distance can be calculated with higher accuracy by using a value obtained by subtracting the offset Xp from the X coordinate of the lower end position of the occupied image. In the case of vehicle recognition or optical flow recognition as well, distance accuracy can be improved by similarly assuming a certain amount of offset.
2.画像領域の大きさを利用
ピンホールカメラでは、対象物体の距離が2倍になれば、画像領域の大きさは1/2になるという非常に簡単な関係が成立するため、対象物体の大きさが既知であれば、画像領域の大きさから対象物体の距離を算出することは、極めて容易である。
広角カメラ2は、内部パラメータが既知であるため、歪み補正画像を作成することができる。したがって、画像領域部分を歪み補正し、ピンホールカメラモデルでの大きさに変換すれば、距離を算出できる。また魚眼カメラの場合には、画像中央からの距離rに応じて、多項式f(r)=a0+a1*r+a2*r2+…で歪みが表現されるのが一般的である。そこで、画像領域の中心座標を代表点Icとし、Icの画像中心からの距離Rcを、前記多項式に代入することで、画像領域の大きさの変換倍率を簡易に算出できる。
対象物体の大きさに関しては、歩行者認識の場合には、平均身長を用いるなど、認識対象毎に代表的な数値を決めておけばよい。
物***置算出部32は、上記のようにして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
2. Use the size of the image area With pinhole cameras, if the distance of the target object is doubled, the size of the image area will be halved. If the size is known, it is extremely easy to calculate the distance of the target object from the size of the image area.
Since the
Regarding the size of the target object, in the case of pedestrian recognition, a representative numerical value may be determined for each recognition target, such as using an average height.
The object
移動量算出部33は、物***置算出部32で算出された対象物体の相対位置情報と、車両センサ5で算出された車速情報とから、対象物体の推定移動量を算出する。
まず、物***置算出部32で算出された対象物体の車両からの相対位置情報を、駆動カメラ4の設置位置情報を用いて座標変換することで、駆動カメラ4からの相対位置情報に補正する。
次に、駆動カメラ4を向けるまでにかかる時間Tを算出する。
水平方向の駆動量θdを、現在の駆動カメラ4の向きθcと、対象物体の方向の角度θoからθd=θo-θcで算出する。駆動カメラ4の水平方向の駆動速度Vθ(degree/second)は既知であるため、駆動カメラ4を該当方向に向けるまでの駆動時間Thは、Th=θd/Vθで簡単に算出できる。同様に、現在のズームレベルと、所望のズームレベル(対象物体の距離に応じて事前に設定しておけば良い)の差から、ズーム調整に掛かる時間Tzを算出することができる。さらに、駆動カメラ4が垂直方向にも動く場合には、同様に垂直方向への駆動時間Tvも算出する。駆動時間Tは、Th,Tz,Tvの中で最大のものとする。
車両センサ5から入力される車速Vから、カメラを向けるまでの対象物体の移動量は、V×Tで簡易に算出できる。なおカーブ走行中の場合には、車速とステアリング角度を用いて、車両のT秒後の相対位置を算出することで、対象物体の移動量を算出しても良い。
The movement
First, the relative position information from the vehicle of the target object calculated by the object
Next, a time T required to turn the driving
The horizontal driving amount θd is calculated as θd = θo−θc from the current direction θc of the driving
The amount of movement of the target object from the vehicle speed V input from the
捕捉位置特定部34は、物***置算出部32で算出された対象物体の相対位置情報を、移動量算出部33で算出された対象物体の推定移動量を用いて補正し、最終的に駆動カメラ4を向けるべき捕捉位置を特定する。
駆動制御部35は、捕捉位置特定部34で特定された捕捉位置に駆動カメラ4を向けるための指令値を駆動カメラ4に送信する。
駆動カメラ4の駆動方向は、捕捉位置の中心を向くように設定する。ズームに関しては、対象物体の距離毎に、事前に適切なズームレベルを設定しておき、捕捉位置と駆動カメラ4との距離を用いて算出する。
The capture
The
The drive direction of the
[対象物体検知処理]
図4は、実施例1の物体検知ECU3における対象物体検知処理の流れを示すフローチャートである。この処理は、例えば50msec程度の間隔で連続的に行われる。なお、各ステップにおける処理の詳細は既に説明済みであるため、ここでは基本的に処理の流れのみを説明する。
ステップS110では、領域算出部31において、広角カメラ2から取得した画像から対象物体の検知を行い、ステップS120に進む。
ステップS120では、領域算出部31で対象領域が見つかった場合には、最初に見つかった領域を対象として選択し、ステップS130に進む。対象物体が見つからない場合には、再びステップS110に戻る。なお、対象領域が複数見つかった場合には、対象物体とのマッチング度合いが最も高い領域を選択しても良い。
ステップS130では、物***置算出部32において、対象物体の相対位置を算出し、ステップS140に進む。
ステップS140では、移動量算出部33において、車両センサ5から得られる車速(およびステアリング値など)と、駆動カメラ4の駆動性能とから、駆動カメラ4を対象物体に向けるまでの対象物体の推定移動量を算出し、ステップS150に進む。
[Target object detection processing]
FIG. 4 is a flowchart illustrating a flow of target object detection processing in the
In step S110, the
In step S120, when the target region is found by the
In step S130, the object
In step S140, the movement
ステップS150では、捕捉位置特定部34において、物***置算出部32で算出した対象物体の相対位置と、移動量算出部33で算出した推定移動量とから、最終的に駆動カメラ4が向けるべき対象の捕捉位置を算出し、ステップS160に進む。
ステップS160では、駆動制御部35において、捕捉位置特定部34で算出した捕捉位置から、駆動カメラ4の最終的な駆動量を算出し、ステップS170に進む。
ステップS170では、駆動制御部35の出力に従って実際に駆動カメラ4を駆動し、ステップS180に進む。
ステップS180では、駆動カメラ4の駆動完了を待って、駆動カメラ4の撮像画像を取得し、任意の画像処理を実現する。例えば、領域算出部31と同じ処理を実施することで、より確実に対象物体を認識する。なお、ここでの認識処理内容は、本発明を規定するものではない。
例えば、対象物体が人の場合には、広角カメラ2での画像処理では、単純な歩行者検知を行い、駆動カメラ4の画像処理では、より詳細の画像が得られるので、歩行者の向きの認識や顔認識など、より詳細な認識処理を実現しても良い。
以上のステップS110からステップS180までの処理により、広角カメラ2と駆動カメラ4を連携させて、物体検知を行う基本的な枠組みが実現される。
In step S150, the capture
In step S160, the
In step S170, the
In step S180, after completion of driving of the driving
For example, when the target object is a person, the image processing with the wide-
Through the processing from step S110 to step S180 described above, a basic framework for performing object detection by linking the wide-
次に、作用を説明する。
[対象物体検知作用]
図5に示すように、広角カメラ2で対象物体(例えば、歩行者)の領域を捉えた場合、一般に、対象物体の方向は既知だが、対象物体までの距離は不明である。一方で、車両と広角カメラ2の位置関係は固定であるため、車両も対象物体も同一平面にあると仮定すると、画像の下端位置と距離の関係は既知である。つまり、対象物体の画像領域の下端位置から対象物体までの距離を算出できれば、対象物体の位置がわかる。
ところが、図6(a)に示すように、実際に対象物体に駆動カメラ4を向けるのには、駆動時間が掛かり、その間も車両は動き続けるので、単純に対象物体の位置に駆動カメラ4を向けたのでは、ずれが生じる。そこで、実際に駆動カメラ4を向けるときの対象物体の位置を特定する。実施例1では、駆動カメラ4の駆動速度から、対象物体に駆動カメラ4を向けるまでの駆動時間を算出し、車速を用いて、駆動時間中の対象物体の相対的な移動量を算出する。この移動量を用いて対象物体の位置を補正することにより、駆動カメラ4の捕捉位置を特定することができる。
Next, the operation will be described.
[Target object detection]
As shown in FIG. 5, when the area of the target object (for example, a pedestrian) is captured by the wide-
However, as shown in FIG. 6 (a), it takes a drive time to actually direct the
従来、複数のセンサの組み合わせにより物体を検知する技術としては、例えば、特許第3588728号公報に記載されたものが公知である。この従来技術では、車両の水平方向に駆動可能な近距離用、中距離用、遠距離用の3つのカメラでそれぞれ対象(白線)をトラッキングすることで、対象物体の状態を捕捉する技術が開示されている。ところが、それぞれのカメラが独自に動いているため、連続した白線ではない車両や歩行者等の対象物体の状態を的確に捕捉できない。
一方、特開2002-99906号公報には、赤外線カメラとLRF(Laser Range Finder)それぞれでの車両認識結果を総合的に判断する技術が開示されている。この従来技術では、認識精度は高まるものの、遠方での認識には適さない。
Conventionally, as a technique for detecting an object by a combination of a plurality of sensors, for example, a technique described in Japanese Patent No. 3588728 is known. This prior art discloses a technique for capturing the state of a target object by tracking the target (white line) with three cameras for short distance, medium distance, and long distance that can be driven in the horizontal direction of the vehicle. Has been. However, since each camera moves independently, the state of a target object such as a vehicle or a pedestrian that is not a continuous white line cannot be accurately captured.
On the other hand, Japanese Patent Application Laid-Open No. 2002-99906 discloses a technique for comprehensively judging vehicle recognition results obtained by an infrared camera and an LRF (Laser Range Finder). Although this conventional technique increases recognition accuracy, it is not suitable for recognition at a distance.
そこで、実施例1では、車両の広角カメラ2と駆動カメラ4(PTZカメラ)を搭載し、広角カメラ2で見つけた注目領域に駆動カメラ4を向ける手法をとる。ここで、広角カメラとPTZカメラを組み合わせ、広角カメラで見つけた不審者にPTZカメラを向ける技術は、建物等に設置して使われる防犯システムでは検出されているが、車載した場合、対象までの距離が一意に定まらない、PTZカメラの駆動時間中に車両自体が動いてしまう、という問題がある。
これに対し、実施例1では、広角カメラ2で捕捉した対象物体の相対位置を算出し、相対位置と自車の移動速度(車速)と駆動カメラ4の駆動速度とに基づいて駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出し、相対位置と推定移動量とに基づいて駆動カメラ4における対象物体の捕捉位置を特定する。
これにより、広角カメラ2で見つけた対象物体に対し駆動カメラ4を適切に向けることができるため、対象物体の正確な検知や、より詳細な認識が可能となる。また、駆動カメラ4の捕捉位置に関して、車両運動と駆動カメラ4の駆動時間とを考慮に入れて、対象物体の位置補正を行っているので、車両が走行中に、駆動に時間がかかる駆動カメラ4を用いたとしても、安定して対象物体を捕捉することができる。よって、遠方を含む対象物体の状態をより的確に把握できる。
Therefore, in the first embodiment, a vehicle wide-
On the other hand, in the first embodiment, the relative position of the target object captured by the wide-
As a result, the
実施例1では、駆動カメラ4を車両の垂直方向にも駆動可能なPTZカメラとしたため、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
また、実施例1では、駆動カメラ4の水平方向の回転中心を広角カメラ2の光軸中心の略垂直軸上に来るように配置したため、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
In the first embodiment, since the driving
In the first embodiment, the horizontal rotation center of the driving
実施例1では、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。つまり、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
また、実施例1では、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。つまり、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
In the first embodiment, the relative position to the target object is calculated based on the position of the lower end position of the occupied image area on the image. In other words, by assuming that the target object and the vehicle are on the same plane, the relationship between the lower end position of the object area on the image and the actual distance can be calculated in advance. The approximate distance can be calculated easily.
In the first embodiment, the relative position to the target object is calculated based on the size of the occupied image area in the image. In other words, by using the fact that the actual size of the recognition target is known, the relationship between the size of the object region on the image and the actual distance can be calculated in advance. The approximate distance can be calculated easily.
実施例1にあっては、以下に列挙する効果を奏する。
(1) 車両に取り付けられ、広視野角を撮像可能な広角カメラ2と、車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラ4と、を有する物体検知装置において、広角カメラ2の画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出部31と、占有画像領域の画像中の位置に基づき、対象物体との相対位置を算出する物***置算出部32と、相対位置と駆動カメラ4の駆動速度とから対象物体に駆動カメラ4を向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速(カーブ走行中はステアリング角度を加味する)とに基づき、駆動カメラ4が対象物体を捕捉するまでの対象物体の推定移動量を算出する移動量算出部33と、相対位置と推定移動量とに基づき、駆動カメラ4の捕捉位置を特定する捕捉位置特定部34と、を備えた。
すなわち、広角カメラ2で捉えた対象物体に対し、画像中の位置から対象物体の相対位置を算出した上で、実際に駆動カメラ4を向けるまでの対象物体の移動量を勘案して、駆動カメラ4の捕捉位置を算出するため、車両が走行中でも、駆動カメラ4で対象物体を捕捉することができ、対象物体をより的確に捕捉できる。
In Example 1, the following effects are exhibited.
(1) In an object detection apparatus having a wide-
That is, after calculating the relative position of the target object from the position in the image with respect to the target object captured by the wide-
(2) 駆動カメラ4は、車両の垂直方向にも駆動可能である。
よって、例えば信号機や標識などの、進行方向から上下に外れた対象物体も認識することができる。さらに、車両のピッチ方向の振動に対して補正を掛けることで、安定して対象物体を認識することも可能となる。
(2) The
Therefore, for example, a target object that deviates vertically from the traveling direction, such as a traffic light or a sign, can also be recognized. Furthermore, it becomes possible to recognize the target object stably by applying correction to the vibration in the pitch direction of the vehicle.
(3) 駆動カメラ4は、水平方向の回転中心が、広角カメラ2の光学中心の略垂直軸上に来るように配置される。
よって、広角カメラ2の画像から算出される対象物体の方向に駆動カメラ4を向ければよく、自由に配置する場合に比べて、駆動方向の算出が容易になる。
(3) The
Therefore, the
(4) 物***置算出部32は、占有画像領域の下端位置の画像上での位置に基づき、対象物体との相対位置を算出する。
すなわち、対象物体と車両が同一平面に存在することを仮定することで、画像上での物体領域の下端位置と実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
(4) The object
In other words, by assuming that the target object and the vehicle are on the same plane, the relationship between the lower end position of the object area on the image and the actual distance can be calculated in advance. The approximate distance can be calculated easily.
(5) 物***置算出部32は、占有画像領域の画像中の大きさに基づき、対象物体との相対位置を算出する。
すなわち、認識対象の実際の大きさが既知であることを利用することで、画像上での物体領域の大きさと実際の距離の関係を事前に算出しておくことが可能となるため、対象物体の概算距離を簡易に算出できる。
(5) The object
In other words, by using the fact that the actual size of the recognition target is known, the relationship between the size of the object region on the image and the actual distance can be calculated in advance. The approximate distance can be calculated easily.
〔実施例2〕
図7は、実施例2の物体検知装置200の概略構成図である。
距離センサ(距離算出装置)6は、対象物体までの距離を算出するセンサである。実施例2では、ToF(Time of Flight)の原理を用いて、直接的に対象物体までの距離を算出する、いわゆるLRF(Laser Range Finder)を想定して説明する。また実施例2では、2次元に放射状に距離情報をスキャン可能なLRFを想定するが、2次元のラインを複数持つことで3次元にスキャン可能なセンサを用いても良いし、投光器と受光素子の組み合わせにより、カメラのように3次元の距離情報を取得可能な距離画像カメラを用いても良い。距離センサ6の設置位置は、広角カメラ2と撮像範囲が重なっていれば良いが、例えば車両前方のバンパー部分に、水平に設置すると良い。広角カメラ2と距離センサ6は、なるべく近くに配置した方が、後述するセンサデータ統合の時に、オクルージョンが生じにくいため、望ましい。
[Example 2]
FIG. 7 is a schematic configuration diagram of an object detection apparatus 200 according to the second embodiment.
The distance sensor (distance calculation device) 6 is a sensor that calculates the distance to the target object. The second embodiment will be described assuming a so-called LRF (Laser Range Finder) that directly calculates a distance to a target object using the principle of ToF (Time of Flight). In the second embodiment, an LRF that can scan distance information radially in two dimensions is assumed. However, a sensor that can scan in three dimensions by using a plurality of two-dimensional lines may be used. A distance image camera capable of acquiring three-dimensional distance information, such as a camera, may be used in combination. The installation position of the
物***置算出部32は、領域算出部31で算出された対象物体の占有領域情報と距離センサ6の測定値とから、対象物体の相対位置を算出する。対象物体の代表位置として、画像の占有領域の中心位置を用いる。広角カメラ2の外部パラメータおよび内部パラメータは既知であるため、広角カメラ2の画像中の位置から、物体の3次元空間上の方向が一意に定まる。従って、距離さえ求まれば、3次元空間上の相対的な位置が一意に定まる。
The object
次に、距離の算出方法について説明する。
まず、距離センサ6の測定値と広角カメラ2の撮像画像を統合する。なお、距離センサ6と広角カメラ2の位置関係は既知である必要がある。具体的には、距離センサ6の測定値を、広角カメラ座標系に座標変換し、対応する画素位置に距離情報を蓄積させる。複数の距離センサ値が一つの画素位置に対応する場合は、平均を取ればよい。こうすると、図8に示すように、広角カメラ画像中の一部の画素に関して、距離情報が埋め込まれたデータ統合画像が作成できる。
次に、領域算出部31で算出した対象領域の距離を算出する。対象領域中に、距離情報が埋め込まれた画素がある場合は、対象領域の中心座標に最も近い画素での距離情報を、距離情報として用いればよい。もしくは、対象領域中の距離情報全体の平均値や中央値を採用する手法を取っても良い。対象領域中に、距離情報が埋め込まれた画素がない場合は、第1の実施の形態の手法により、距離を算出すればよい。
物***置算出部32は、こうして得られた距離情報を用い、対象物体の車両からの相対的な位置を算出し、移動量算出部33に送信する。
なお、他の構成および物体検知処理の手順については、実施例1と同様であるため、図示ならびに説明を省略する。
Next, a method for calculating the distance will be described.
First, the measured value of the
Next, the distance of the target area calculated by the
The object
Since the other configuration and the object detection processing procedure are the same as those in the first embodiment, illustration and description thereof are omitted.
次に、作用を説明する。
[対象物体検知作用]
実施例2では、距離センサ6によって対象物体までの距離を測定し、測定値を広角カメラ2の撮像画像の対応する画素位置に埋め込んだデータ統合画像を生成した対象物体の相対位置を算出する。
対象物体までの距離を直接測定し、広角カメラ2の撮像画像を連携させることで、広角カメラ2で捕捉した対象物体までの正確な距離を算出可能となる。よって、実施例1の場合と比較して、より高精度の距離情報が得られる。
Next, the operation will be described.
[Target object detection]
In the second embodiment, the distance to the target object is measured by the
By directly measuring the distance to the target object and linking the captured image of the wide-
実施例2にあっては、実施例1の効果(1)〜(3)に加え、以下の効果を奏する。
(6) レーザーにより対象物体との距離を算出する距離センサ6をさらに備え、物***置算出部32は、占有画像領域の画像中の位置と、距離センサ6から算出される対象物体との距離とに基づき、対象物体との相対位置を算出する。
すなわち、広角カメラ2と距離センサ6を連携させることで、広角カメラ2で捕捉した対象物体の正確な距離を算出できるため、駆動カメラ4の捕捉位置をより精度良く特定できる。
In Example 2, in addition to the effects (1) to (3) of Example 1, the following effects are obtained.
(6) The apparatus further includes a
That is, by linking the wide-
2 広角カメラ
4 駆動カメラ
5 車両センサ
6 距離センサ(距離算出装置)
31 領域算出部
32 物***置算出部(物***置算出手段)
33 移動量算出部(移動量算出手段)
34 捕捉位置特定部(捕捉位置特定手段)
35 駆動制御部(駆動制御手段)
100 物体検知装置
200 物体検知装置
2 Wide angle camera
4 Driving camera
5 Vehicle sensor
6 Distance sensor (distance calculation device)
31 Area calculator
32 Object position calculation unit (Object position calculation means)
33 Movement amount calculation unit (movement amount calculation means)
34 Capture position specifying unit (capture position specifying means)
35 Drive control unit (drive control means)
100 Object detection device
200 Object detection device
Claims (6)
前記車両に取り付けられ、車両の水平方向に駆動可能、かつズーム可能な駆動カメラと、
を有する物体検知装置において、
前記広角カメラの画像のうち検出対象物体が占める領域である占有画像領域を算出する領域算出手段と、
前記占有画像領域の前記画像中の位置に基づき、前記検出対象物体との相対位置を算出する物***置算出手段と、
前記相対位置と前記駆動カメラの駆動速度とから前記検出対象物体に前記駆動カメラを向けるまでの時間である駆動時間を算出し、算出した駆動時間と車速とに基づき前記駆動カメラが前記検出対象物体を捕捉するまでの前記検出対象物体の推定移動量を算出する移動量算出手段と、
前記相対位置と前記推定移動量とに基づき、前記駆動カメラの捕捉位置を特定する捕捉位置特定手段と、
を備えたことを特徴とする物体検知装置。 A wide-angle camera attached to the vehicle and capable of capturing a wide viewing angle;
A drive camera attached to the vehicle, drivable in the horizontal direction of the vehicle, and zoomable;
In an object detection device having
An area calculating means for calculating an occupied image area that is an area occupied by the detection target object in the image of the wide-angle camera;
Object position calculating means for calculating a relative position with respect to the detection target object based on the position of the occupied image area in the image;
Based on the relative position and the driving speed of the driving camera, a driving time that is a time until the driving camera is directed toward the detection target object is calculated, and the driving camera detects the detection target object based on the calculated driving time and the vehicle speed. A moving amount calculating means for calculating an estimated moving amount of the detection target object until capturing
Capture position specifying means for specifying the capture position of the drive camera based on the relative position and the estimated movement amount;
An object detection device comprising:
前記駆動カメラは、車両の垂直方向にも駆動可能であることを特徴とする物体検知装置。 The object detection apparatus according to claim 1,
The object detection apparatus according to claim 1, wherein the driving camera is capable of being driven in a vertical direction of the vehicle.
前記駆動カメラは、水平方向の回転中心が、前記広角カメラの光学中心の略垂直軸上に来るように配置されることを特徴とする物体検知装置。 In the object detection device according to claim 1 or 2,
The object detection apparatus according to claim 1, wherein the driving camera is arranged so that a rotation center in a horizontal direction is on a substantially vertical axis of an optical center of the wide-angle camera.
前記物***置算出手段は、前記占有画像領域の下端位置の前記画像上での位置に基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。 In the object detection device according to any one of claims 1 to 3,
The object detection device is characterized in that the object position calculation means calculates a relative position with respect to the detection target object based on a position of a lower end position of the occupied image region on the image.
前記物***置算出手段は、前記占有画像領域の前記画像中の大きさに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。 In the object detection device according to any one of claims 1 to 3,
The object detection device, wherein the object position calculation means calculates a relative position with respect to the detection target object based on a size of the occupied image area in the image.
レーザーにより前記検出対象物体との距離を算出する距離算出装置をさらに備え、
前記物***置算出手段は、前記占有画像領域の前記画像中の位置と、前記距離算出装置から算出される前記検出対象物体との距離とに基づき、前記検出対象物体との相対位置を算出することを特徴とする物体検知装置。 In the object detection device according to any one of claims 1 to 3,
Further comprising a distance calculation device for calculating a distance from the object to be detected by a laser;
The object position calculation means calculates a relative position with respect to the detection target object based on a position in the image of the occupied image region and a distance from the detection target object calculated by the distance calculation device. An object detection device characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019990A JP6032034B2 (en) | 2013-02-05 | 2013-02-05 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019990A JP6032034B2 (en) | 2013-02-05 | 2013-02-05 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014154898A true JP2014154898A (en) | 2014-08-25 |
JP6032034B2 JP6032034B2 (en) | 2016-11-24 |
Family
ID=51576392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013019990A Active JP6032034B2 (en) | 2013-02-05 | 2013-02-05 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6032034B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015195569A (en) * | 2014-03-25 | 2015-11-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Imaging device for mobile |
JP2018146440A (en) * | 2017-03-07 | 2018-09-20 | 株式会社豊田自動織機 | Environment recognition device |
US10169667B2 (en) | 2015-01-20 | 2019-01-01 | Clarion Co., Ltd. | External environment recognizing device for vehicle and vehicle behavior control device |
CN109670419A (en) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | A kind of pedestrian detection method based on circumference security protection video monitoring system |
JP2021121541A (en) * | 2015-10-21 | 2021-08-26 | ウェイモ エルエルシー | Method and system for clearing sensor occlusion |
KR20220015040A (en) * | 2020-07-30 | 2022-02-08 | 주식회사 영국전자 | PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera |
WO2022075039A1 (en) * | 2020-10-08 | 2022-04-14 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing system, and information processing method |
CN117596386A (en) * | 2023-12-06 | 2024-02-23 | 中云数科(广州)信息科技有限公司 | Intelligent building safety monitoring system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04305709A (en) * | 1991-04-03 | 1992-10-28 | Mazda Motor Corp | Environment recognizing device for moving vehicle |
JP2000115621A (en) * | 1998-10-05 | 2000-04-21 | Sony Corp | Image pickup device and method therefor |
JP2011065338A (en) * | 2009-09-16 | 2011-03-31 | Toyota Central R&D Labs Inc | Object tracking device and program |
-
2013
- 2013-02-05 JP JP2013019990A patent/JP6032034B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04305709A (en) * | 1991-04-03 | 1992-10-28 | Mazda Motor Corp | Environment recognizing device for moving vehicle |
JP2000115621A (en) * | 1998-10-05 | 2000-04-21 | Sony Corp | Image pickup device and method therefor |
JP2011065338A (en) * | 2009-09-16 | 2011-03-31 | Toyota Central R&D Labs Inc | Object tracking device and program |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015195569A (en) * | 2014-03-25 | 2015-11-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Imaging device for mobile |
US10169667B2 (en) | 2015-01-20 | 2019-01-01 | Clarion Co., Ltd. | External environment recognizing device for vehicle and vehicle behavior control device |
JP2021121541A (en) * | 2015-10-21 | 2021-08-26 | ウェイモ エルエルシー | Method and system for clearing sensor occlusion |
JP2018146440A (en) * | 2017-03-07 | 2018-09-20 | 株式会社豊田自動織機 | Environment recognition device |
CN109670419A (en) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | A kind of pedestrian detection method based on circumference security protection video monitoring system |
CN109670419B (en) * | 2018-12-04 | 2023-05-23 | 天津津航技术物理研究所 | Pedestrian detection method based on perimeter security video monitoring system |
KR20220015040A (en) * | 2020-07-30 | 2022-02-08 | 주식회사 영국전자 | PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera |
KR102362695B1 (en) | 2020-07-30 | 2022-02-14 | 주식회사 영국전자 | PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera |
WO2022075039A1 (en) * | 2020-10-08 | 2022-04-14 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing system, and information processing method |
CN117596386A (en) * | 2023-12-06 | 2024-02-23 | 中云数科(广州)信息科技有限公司 | Intelligent building safety monitoring system |
CN117596386B (en) * | 2023-12-06 | 2024-05-24 | 中云数科(广州)信息科技有限公司 | Intelligent building safety monitoring system |
Also Published As
Publication number | Publication date |
---|---|
JP6032034B2 (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6032034B2 (en) | Object detection device | |
US11305691B2 (en) | Vehicular vision system | |
US7684590B2 (en) | Method of recognizing and/or tracking objects | |
EP2924653B1 (en) | Image processing apparatus and image processing method | |
JP4612635B2 (en) | Moving object detection using computer vision adaptable to low illumination depth | |
JP5421072B2 (en) | Approaching object detection system | |
JP5109691B2 (en) | Analysis device | |
US9177196B2 (en) | Vehicle periphery monitoring system | |
US20150292891A1 (en) | Vehicle position estimation system | |
JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
US20110234761A1 (en) | Three-dimensional object emergence detection device | |
JP6708730B2 (en) | Mobile | |
KR20200071960A (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence | |
JP5539250B2 (en) | Approaching object detection device and approaching object detection method | |
JP2018139084A (en) | Device, moving object device and method | |
JP6065629B2 (en) | Object detection device | |
KR102031635B1 (en) | Collision warning device and method using heterogeneous cameras having overlapped capture area | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
JP2004354256A (en) | Calibration slippage detector, and stereo camera and stereo camera system equipped with the detector | |
JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
JP2014044730A (en) | Image processing apparatus | |
JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
JP6032141B2 (en) | Travel road marking detection device and travel road marking detection method | |
JP6564682B2 (en) | Object detection device, object detection method, and object detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161010 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6032034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |